GPT1 [BERT]BERT란? 🔍 BERT란? Bidirectional Encoder Representations from Transformers1. BERT의 핵심 개념Bidirectional Representations을 학습하는 딥러닝 기반 NLP 모델트랜스포머(Transformer) 구조 중 인코더(Encoder) 부분만 활용BERT는 문장 전체를 양방향(Bidirectional)으로 읽고, 문장의 앞뒤 문맥을 동시에 사용해 단어의 의미 이해2. Pre-training 방식1. Masked Language Model (MLM)MLM은 문장 내에서 일부 단어를 [MASK]로 랜덤하게 가리고, 이를 복원하는 방식입니다.좌우 문맥(양방향)을 모두 활용하여 마스킹된 단어를 예측하며 GPT와 달리 문장 전체에서 좌우를 모두 참고하기 .. 2025. 1. 9. 이전 1 다음
