🤖AI/bert4 [BERT]Input Embedding 🔍 BERT의 입력 임베딩(Input Embedding)BERT는 입력 문장을 이해하기 위해 단순히 단어만을 입력하지 않고,각 단어를 벡터(임베딩)로 변환해 모델에 넣습니다.하지만 단어 벡터만으로는 문장 구조나 문맥을 완전히 표현할 수 없기 때문에,BERT는 3가지 임베딩(Token, Segment, Position)을 더해서 최종 입력 벡터를 구성합니다. 🚀 BERT의 입력 임베딩 3가지 요소1️⃣ Token Embedding문장의 각 단어(토큰)를 고유한 벡터로 변환합니다.BERT는 WordPiece 토크나이저를 사용해 단어를 더 작은 의미 단위로 나눕니다.예를 들어,"playing" → "play" + "##ing""unbelievable" → "un" + "##believable""##"는 앞.. 2025. 1. 9. [BERT]Input/Output Representations 🔍 BERT: 입력/출력 표현(Input/Output Representations)BERT의 입력 방식은 하나의 문장뿐만 아니라, 두 개의 문장(예: 질문-답변 쌍) 도 명확하게 표현할 수 있도록 설계되어 있습니다.즉, BERT는 단일 문장과 문장 쌍 모두를 다룰 수 있는 구조입니다. Sentence(문장)여기서 말하는 "문장"은 실제 언어적 문장(linguistic sentence)이 아니라 연속된 텍스트의 임의의 구간(span of contiguous text)을 의미합니다.예를 들어, 문서의 일부 구절이나 단락의 일부도 "문장"으로 간주될 수 있습니다.Sequence(시퀀스)BERT에 입력되는 토큰의 연속(입력 토큰 시퀀스)을 의미합니다.이 시퀀스는 단일 문장일 수도 있고, 두 개의 문장을 하나로.. 2025. 1. 9. [BERT]BERT의 Architecture 🔍 BERT의 Architecture(구조)1️⃣ BERT의 기본 구조는 TransformerBERT는 Transformer라는 신경망 구조를 기반으로 만들어졌습니다.transformer는 크게 아래와 같이 두 부분으로 나뉩니다.인코더(Encoder): 문장을 이해하고, 의미를 추출디코더(Decoder): 문장을 생성👉 BERT는 이 중 '인코더'만 사용합니다. 즉, 문장을 깊게 이해하는 데 집중하는 모델인거죠!2️⃣ Layer(레이어)란 무엇일까?Layer(층)는 BERT가 문장을 처리하는 작업 단계라고 생각하면 쉽습니다.문장이 BERT에 들어가면 여러 Layer(층)을 통과하면서 점점 더 복잡한 패턴과 의미를 학습하게 됩니다.Layer가 많을수록 더 깊이 있는 정보를 학습할 수 있으나 많으면 모델.. 2025. 1. 9. [BERT]BERT란? 🔍 BERT란? Bidirectional Encoder Representations from Transformers1. BERT의 핵심 개념Bidirectional Representations을 학습하는 딥러닝 기반 NLP 모델트랜스포머(Transformer) 구조 중 인코더(Encoder) 부분만 활용BERT는 문장 전체를 양방향(Bidirectional)으로 읽고, 문장의 앞뒤 문맥을 동시에 사용해 단어의 의미 이해2. Pre-training 방식1. Masked Language Model (MLM)MLM은 문장 내에서 일부 단어를 [MASK]로 랜덤하게 가리고, 이를 복원하는 방식입니다.좌우 문맥(양방향)을 모두 활용하여 마스킹된 단어를 예측하며 GPT와 달리 문장 전체에서 좌우를 모두 참고하기 .. 2025. 1. 9. 이전 1 다음
