Beit

• Beit는 NLP분야에서 가장 큰 영향력을 미친 BERT의 훈련방식인 Masked language modeling을 이미지 Task에 적용한 모델
• Pre-trained된 DALL-E tokenizer를 이용해 이미지 패치들을 tokenizer하여 BERT방식으로 모델을 훈련

Model Keypoint

• DALL-E tokenizer
• BERT

Architecture

DALL-E tokenizer

Decoder

Pre-Training BEIT : Masked Image Modeling(MIM)

Experiments

Reference
https://arxiv.org/pdf/2106.08254.pdf
https://velog.io/@rucola-pizza/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0BEIT-Pre-Training-of-Image-Transformer