상위: AI & ML
대규모 텍스트 데이터셋으로 학습되어 인간의 언어를 이해하고 생성하는 능력을 가진 인공지능 모델.
주요 특징
- 대규모 파라미터: 수십억에서 수천억 개의 파라미터를 가짐.
- 대규모 데이터셋 학습: 인터넷의 방대한 텍스트 데이터를 학습.
- Transformer 아키텍처: 대부분 Transformer 기반의 디코더 전용 또는 인코더-디코더 구조를 가짐.
- 생성 능력: 자연어 텍스트를 유창하게 생성.
- 다양한 태스크 수행: 번역, 요약, 질문 답변, 코드 생성 등 다양한 자연어 처리 태스크 수행 가능.
작동 원리 (개념적)
- 토큰화 (Tokenization): 텍스트를 모델이 이해할 수 있는 작은 단위(토큰)로 분할.
- 임베딩: 각 토큰을 숫자 벡터로 변환.
- Self-Attention: 입력 시퀀스 내의 모든 토큰 간의 관계를 파악하여 문맥적 의미를 학습.
- 다음 토큰 예측: 학습된 패턴을 기반으로 다음에 올 확률이 가장 높은 토큰을 예측하여 텍스트를 생성.
활용 분야
- 콘텐츠 생성: 기사, 보고서, 시나리오 등.
- 질문 답변: 검색 엔진, 챗봇 등.
- 번역: 다국어 번역.
- 코드 생성 및 디버깅: 프로그래밍 코드 작성 지원.
- 요약: 긴 텍스트를 핵심 내용으로 요약.
주요 모델 예시
왜 LLM은 Only Decoder 구조일까?
- 단일 causal LM 목적함수로 전체 파라미터를 이해·생성 모두에 활용 → 학습 효율이 높음
- In-context learning만으로 파인튜닝 없이 다양한 태스크에 적응 가능
- 인코더-디코더 대비 스케일링이 용이하고 구조가 단순해 학습·추론 비용이 낮음
- (크로스 어텐션 연산 비용도 존재하지만 이는 부차적 요인)