분류 전체보기75 [BERT]Input/Output Representations 🔍 BERT: 입력/출력 표현(Input/Output Representations)BERT의 입력 방식은 하나의 문장뿐만 아니라, 두 개의 문장(예: 질문-답변 쌍) 도 명확하게 표현할 수 있도록 설계되어 있습니다.즉, BERT는 단일 문장과 문장 쌍 모두를 다룰 수 있는 구조입니다. Sentence(문장)여기서 말하는 "문장"은 실제 언어적 문장(linguistic sentence)이 아니라 연속된 텍스트의 임의의 구간(span of contiguous text)을 의미합니다.예를 들어, 문서의 일부 구절이나 단락의 일부도 "문장"으로 간주될 수 있습니다.Sequence(시퀀스)BERT에 입력되는 토큰의 연속(입력 토큰 시퀀스)을 의미합니다.이 시퀀스는 단일 문장일 수도 있고, 두 개의 문장을 하나로.. 2025. 1. 9. [BERT]BERT의 Architecture 🔍 BERT의 Architecture(구조)1️⃣ BERT의 기본 구조는 TransformerBERT는 Transformer라는 신경망 구조를 기반으로 만들어졌습니다.transformer는 크게 아래와 같이 두 부분으로 나뉩니다.인코더(Encoder): 문장을 이해하고, 의미를 추출디코더(Decoder): 문장을 생성👉 BERT는 이 중 '인코더'만 사용합니다. 즉, 문장을 깊게 이해하는 데 집중하는 모델인거죠!2️⃣ Layer(레이어)란 무엇일까?Layer(층)는 BERT가 문장을 처리하는 작업 단계라고 생각하면 쉽습니다.문장이 BERT에 들어가면 여러 Layer(층)을 통과하면서 점점 더 복잡한 패턴과 의미를 학습하게 됩니다.Layer가 많을수록 더 깊이 있는 정보를 학습할 수 있으나 많으면 모델.. 2025. 1. 9. [BERT]BERT란? 🔍 BERT란? Bidirectional Encoder Representations from Transformers1. BERT의 핵심 개념Bidirectional Representations을 학습하는 딥러닝 기반 NLP 모델트랜스포머(Transformer) 구조 중 인코더(Encoder) 부분만 활용BERT는 문장 전체를 양방향(Bidirectional)으로 읽고, 문장의 앞뒤 문맥을 동시에 사용해 단어의 의미 이해2. Pre-training 방식1. Masked Language Model (MLM)MLM은 문장 내에서 일부 단어를 [MASK]로 랜덤하게 가리고, 이를 복원하는 방식입니다.좌우 문맥(양방향)을 모두 활용하여 마스킹된 단어를 예측하며 GPT와 달리 문장 전체에서 좌우를 모두 참고하기 .. 2025. 1. 9. [RESTful]POST와 PUT의 차이 REST API를 사용하면서 HTTP 메소드에 대해 기본적으로 POST는 생성 PUT은 수정이라는 것을 잘 알고있습니다. 그렇다면 POST와 PUT의 차이점에 대해서는 생성과 수정이라는 것 외에 또 어떤 구체적인 차이점이 있는지 알아보고자 합니다! POST 정의 Request(요청)에 포함된 Entity(Http body에 해당)을 Request-URI에 정의된 리소스의 하위(Suboridiate) Entity로 새롭게 생성하는 요청을 서버에 보낼때 사용되는 HTTP Method입니다. 따라서 Request-URI는 리소스의 Entity를 나타내는 Collection URI이어야 합니다. 말이 어려울 수 있어 예시를 들어보겠습니다. 학생들의 정보를 저장하는 student가 있습니다. 그리고 각 학생의 정.. 2023. 12. 12. [RESTful]REST, REST API, RESTful이란? REST 란? REST 정의 REST란 Representational State Transfer의 약자로 소프트웨어 프로그램 아키텍처의 한 형식입니다. REST는 기본적으로 웹의 기존 기술과 HTTP 프로토콜을 그대로 활용하기 때문에 웹의 장점을 최대한 활용할 수 있는 아키텍처 스타일입니다. REST는 네트워크 상에서 Client와 Server 사이의 통신 방식 중 하나입니다. 자원을 이름(자원의 표현)으로 구분하여 해당 자원의 상태(정보)를 주고 받는 모든 것을 의미합니다. 즉! 자원(resource)의 표현(representation)에 의한 상태 전달인 것이죠! 1. 자원(resource)의 표현(representation) ▸ 자원: 해당 소프트웨어가 관리하는 모든 것 ex) 문서, 그림, 데이터.. 2023. 12. 12. [troubleshooting][technology decision]drag and drop 라이브러리 선택 어떤 오류를 해결한 과정보다는 프로젝트에 적합한 기술을 선택하기 위한 고민과 과정을 기록한 것입니다. 기술 선택에 도움이 되셨으면 좋겠습니다:) Problem ⚠️ 상황 : 작사 지원 프로젝트 휘리릭에서 사용자가 좀 더 편하게 가사 순서 변경을 할 수 있도록 dnd 기능 구현을 맡게되었습니다. React-Draggable, React DnD, React Beautiful DnD 등 많은 darg and drop 라이브러리들 중 프로젝트의 요구사항을 충족시키기 위한 최적의 도구를 찾아야했습니다. drag and drop 기능 구현 이후 업무와 프로젝트 마감 기한으로 빠른 개발 필요 Research 🧐 접근 : 각 라이브러리의 장단점 비교를 위해 라이브러리들의 특징들을 조사했습니다. 💡 라이브러리들의 특징 .. 2023. 11. 20. 이전 1 2 3 4 5 ··· 13 다음
