[POD]트랜스포머 기반 언어모델 : 개념 및 활용

언어 모델을 이해하는 것은 사람이 언어를 구사하는 원리를 파악하는 것만큼 복잡하고 깊은 문제입니다. 그러나 이 도전에는 막대한 가치와 필요성이 있습니다. 이번 도서에서는 현재 언어 모델 분야를 선도하는 주요 모델들을 선정하여 그 핵심 개념과 실용적인 활용 사례를 간결하게 정리하였습니다.
[01. Transformer]에서는 언어 모델의 지각 변동을 가져온 그 유명한 모델인 트랜스포머의 등장 배경, 특징, 그리고 구조를 소개합니다. [02. BERT]에서는 트랜스포머를 기반으로 개발된 가장 대표적 언어모델인 BERT의 구조와 함께, 지식 증류(Knowledge Distillation)를 적용한 BERT 경량 모델인 DistilBERT를 소개합니다. [03. GPT]에서는 OpenAI사가 개발한 대규모 언어 모델인 GPT의 개념 및 각 버전별 발전 과정을 소개하며, [04. ChatGPT]에서는 역시 최근 OpenAI사가 공개하여 괄목할 성능을 보임으로써 전공자뿐 아니라 일반인들도 언어 모델에 관심을 갖게 만든 대화형 인공지능 언어 모델인 ChatGPT의 발전 과정 및 활용 방안을 소개합니다.

01 Transformer
1. 트랜스포머의 등장
1-1 트랜스포머 등장 배경
1-2 셀프 어텐션
1-3 트랜스포머 특징
2. 트랜스포머의 구조 : Encoder
2-1 입력 임베딩 및 위치 인코딩
2-2 멀티헤드 어텐션
2-3 인코더 셀프 어텐션
2-5 피드 포워드 신경망
2-6 요약
3. 트랜스포머의 구조 :　Decoder
3-1 출력 임베딩 및 위치 인코딩
3-2 마스크드 디코더 셀프 어텐션
3-3 잔차 연결 및 레이어 정규화
3-4 인코더-디코더 어텐션
3-5 피드 포워드 신경망
3-6 요약

02 BERT
1. BERT의 등장
2. BERT의 구조
3. BERT의 학습
3-1 MLM
3-2 NSP
3-3 Fine- tuning
4. BERT의 경량 모델 : DistilBERT
4-1 지식 증류
4-2 DistilBERT의 학습

03 GPT
1. GPT 개념
1-1 GPT의 입력
1-1-1 토큰화
1-1-2 포지셔널 임베딩
1-2 GPT의 구조
1-2-1 BERT 모델과의 차이
1-2-2 마스크드 셀프 어텐션
1-3 GPT의 출력
2. GPT-1
2-1 GPT-1 개요
2-2 GPT-1의 특징
2-2-1 비지도 학습
2-2-2 파인 튜닝
2-3 GPT-1 제안 논문의 성과
3. GPT-2
3-1 GPT-2 개요
3-2 GPT-2의 특징
3-3 GPT-2 제안 논문의 성과
4. GPT-3
4-1 GPT-3 개요
4-2 GPT-3의 특징
4-3 GPT-3 제안 논문의 성과

04 ChatGPT
1. ChatGPT의 발전과정
2. ChatGPT 활용
2-1 정보 제공 및 질의응답
2-2 창작적인 쓰기 지원
2-3 교육 및 학습 도우미
2-4 상담 및 심리 지원
3. 프롬프트의 이해 및 적용
3-1 명료한 질문
3-2 미래 예측
3-3 ChatGPT 3.5와 ChatGPT 4.0
4. Hallucination