상위: AI & ML
Text-To-Text Transfer Transformer 모든 자연어 처리(NLP) 태스크를 '텍스트-투-텍스트(Text-to-Text)' 형식으로 통일하여 처리하는 Transformer 기반의 LLM.
특징
- 통일된 인터페이스: 번역, 요약, 질문 답변 등 모든 NLP 문제를 텍스트를 입력받아 텍스트를 출력하는 형태로 변환.
- 인코더-디코더 구조: Transformer의 인코더와 디코더를 모두 사용.
- 대규모 사전 학습:
C4(Colossal Clean Crawled Corpus)와 같은 방대한 데이터셋으로 사전 학습.
사전 학습 목표 (Pre-training Objectives)
- 노이즈 제거 (Denoising): 입력 텍스트에 다양한 형태의 노이즈(예: 마스킹, 단어 삭제)를 가하고, 원본 텍스트를 재구성하도록 학습.
- 누락된 텍스트 예측 (Missing Text Prediction): 텍스트의 일부를 제거하고 해당 부분을 예측하도록 학습.
활용 분야
- 기계 번역 (Machine Translation): 다양한 언어 쌍 간의 번역.
- 텍스트 요약 (Summarization): 긴 문서를 짧게 요약.
- 질문 답변 (Question Answering): 주어진 텍스트에서 질문에 대한 답변 생성.
- 텍스트 생성 (Text Generation): 다양한 스타일의 텍스트 생성.
메모
- 1B(파라미터 10억개 이하) 이내의 모델에서는 좋은 선택으로 알려짐 (경험적 통설)