상위: AI & ML
RNN/LSTM의 한계를 극복하고 Self-Attention 메커니즘을 기반으로 등장한 시퀀스-투-시퀀스 모델. 현대 LLM의 핵심 아키텍처.
핵심 구성 요소
Self-Attention
문장 내 모든 단어들이 서로에게 얼마나 중요한지(관련성)를 계산하여, 각 단어의 표현을 업데이트하는 메커니즘. 문맥을 파악하는 데 핵심적인 역할.
- 작동 방식: Query, Key, Value 벡터를 사용하여 단어 간의 유사도를 계산하고 가중합.
Multi-Head Attention
여러 개의 Self-Attention 메커니즘을 병렬로 수행하여 다양한 관점에서 단어 간의 관계를 학습. 모델의 표현력을 높임.
Positional Encoding
트랜스포머는 순환(Recurrence)이나 합성곱(Convolution)을 사용하지 않으므로, 단어의 순서 정보를 직접적으로 주입하기 위해 사용되는 벡터.
Feed-Forward Networks
각 Attention 레이어의 출력에 독립적으로 적용되는 두 개의 선형 변환과 활성화 함수로 구성된 네트워크.
Residual Connections & Layer Normalization
깊은 신경망의 학습을 안정화하고 기울기 소실 문제를 완화하는 기법.
인코더-디코더 구조
- Encoder: 입력 시퀀스를 문맥적 임베딩으로 변환하여 의미를 이해하는 역할. 자연어 이해(NLU) 태스크에 주로 활용.
- Decoder: 인코더의 출력과 이전 스텝의 디코더 출력을 바탕으로 다음 단어를 예측하여 출력 시퀀스를 생성하는 역할. 자연어 생성(NLG) 태스크에 주로 활용.
파생 모델
→ Encoder Only : BERT → Decoder Only : GPT → Encoder-Decoder : BART, T5