AWS로 구현하는 생성형 AI - LLM에서 멀티모달까지 RAG LoRA RLHF를 활용한 AWS 기반 생성형 AI 구축 가이드(위키북스 생성형 AI 프로그래밍 8)

업계와 학계에서 다루는 가장 일반적인 생성형 AI 활용 사례와 작업을 이해할 수 있습니다!

 

오늘날 기업은 자사의 제품과 서비스에 생성형 AI를 빠르게 도입하고 있습니다. 그러나 이 기술의 영향력과 잠재력에 대해 과장된 정보와 오해가 많이 존재합니다. AWS의 크리스 프레글리, 안체 바르트, 셸비 아이겐브로데는 이 책에서 CTO, 머신러닝 실무자, 애플리케이션 개발자, 비즈니스 분석가, 데이터 엔지니어, 데이터 사이언티스트가 이 흥미로운 신기술을 실용적으로 활용하는 방법을 찾도록 도와줍니다.

 

이 책을 통해 활용 사례 정의, 모델 선택, 모델 미세 조정, 검색 증강 생성, 인간 피드백을 통한 강화 학습, 모델 양자화, 최적화, 배포 등 생성형 AI 프로젝트의 생명 주기를 배울 수 있습니다. 또한 대규모 언어 모델(LLM), 이미지 생성을 위한 스테이블 디퓨전, 이미지 관련 질문에 답하는 Flamingo, IDEFICS 같은 멀티모달 모델 등 다양한 유형의 모델도 살펴봅니다.

 

★ 이 책에서 다루는 내용 ★

 

◎ 생성형 AI를 비즈니스 현장에 적용하는 방법

◎ 작업에 가장 적합한 생성형 AI 모델을 결정하는 방법

◎ 프롬프트 엔지니어링과 콘텍스트 내 학습을 수행하기

◎ 저순위 적응(LoRA)으로 데이터 세트에 맞게 생성형 AI 모델을 미세 조정하기

◎ 인간 피드백을 통한 강화 학습(RLHF)으로 생성형 AI 모델을 인간의 가치에 맞추는 방법

◎ 검색 증강 생성(RAG)으로 모델을 증강하기

◎ 랭체인, ReAct 같은 라이브러리를 활용해 에이전트와 액션을 개발하기

◎ 아마존 베드록으로 생성형 AI 애플리케이션을 만드는 방법

[목 차]
  

▣ 01장: 생성형 AI 활용 사례, 기본 사항 및 프로젝트 생명 주기

활용 사례 및 작업

파운데이션 모델 및 모델 허브

생성형 AI 프로젝트의 생명 주기

AWS에서의 생성형 AI

AWS에서 생성형 AI를 사용하는 이유

AWS에서 생성형 AI 애플리케이션 구축하기

요약

 

▣ 02장: 프롬프트 엔지니어링과 콘텍스트 내 학습

프롬프트와 컴플리션

토큰

프롬프트 엔지니어링

프롬프트 구조

___인스트럭션

___콘텍스트

퓨샷 추론으로 콘텍스트 내 학습

___제로샷 추론

___원샷 추론

___퓨샷 추론

___콘텍스트 내 학습이 잘못된 사례

___콘텍스트 내 학습 모범 사례

프롬프트 엔지니어링 모범 사례

추론 구성 매개변수

요약

 

▣ 03장: 대형 언어 파운데이션 모델

대형 언어 파운데이션 모델

토크나이저

임베딩 벡터

트랜스포머 아키텍처

___입력과 콘텍스트 윈도

___임베딩 레이어

___인코더

___셀프 어텐션

___디코더

___소프트맥스 출력

트랜스포머 기반 파운데이션 모델 유형

사전 학습 데이터 세트

스케일링 법칙

컴퓨팅 최적화 모델

요약

 

▣ 04장: 메모리와 연산 최적화

메모리 문제

데이터 유형 및 수치 정밀도

양자화

___fp16

___bfloat16

___fp8

___int8

셀프 어텐션 레이어 최적화

___플래시 어텐션

___그룹 쿼리 어텐션

분산 컴퓨팅

___분산 데이터 병렬 처리

___완전 샤드 데이터 병렬 처리

___DDP와 FSDP의 성능 비교

AWS 분산 컴퓨팅

___아마존 세이지메이커로 완전 샤드 데이터 병렬 처리

___AWS 뉴런 SDK 및 AWS 트레이니엄

요약

 

▣ 05장: 미세 조정 및 평가

인스트럭션 기반 미세 조정

___Llama 2-Chat

___Falcon-Chat

___FLAN-T5

인스트럭션 데이터 세트

___다중작업 인스트럭션 데이터 세트

___FLAN: 다중작업 인스트럭션 데이터 세트 예제

___프롬프트 템플릿

___사용자 정의 데이터 세트를 인스트럭션 데이터 세트로 변환하기

인스트럭션 기반 미세 조정

___아마존 세이지메이커 스튜디오

___아마존 세이지메이커 점프스타트

___허깅 페이스용 아마존 세이지메이커 Estimator

평가

___평가 지표

___벤치마크 및 데이터 세트

요약

 

▣ 06장: 효율적인 매개변수 미세 조정(PEFT)

완전 미세 조정과 PEFT 비교

LoRA와 QLoRA

___LoRA 기본 원리

___순위

___목표 모듈과 레이어

___LoRA 적용

___LoRA 어댑터와 원본 모델 병합

___LoRA 어댑터 테넌트별 유지

___완전 미세 조정과 LoRA 성능 비교

___QLoRA

프롬프트 튜닝과 소프트 프롬프트

요약

 

▣ 07장: 인간 피드백을 통한 강화 학습으로 미세 조정

인간 가치 정렬(Human Alignment): 유용성, 정직성, 무해성

강화 학습 개요

맞춤형 보상 모델 학습하기

___휴먼인더루프를 활용한 학습 데이터 수집

___레이블러를 위한 지침 예시

___인간이 단 주석을 수집하기 위한 아마존 세이지메이커 그라운드 트루스 활용하기

___보상 모델을 학습하기 위한 순위 데이터 준비

___보상 모델 학습하기

기존 보상 모델: 메타의 유해성 판독기

인간 피드백을 통한 강화 학습으로 미세 조정

___RLHF에서 보상 모델 활용

___근접 정책 최적화 강화 학습 알고리즘

___PPO로 RLHF 미세 조정 수행

___보상 해킹 완화

___RLHF에서 효율적인 매개변수 미세 조정(PEFT) 활용

RLHF로 미세 조정 모델 평가

___정성적 평가

___정량적 평가

___평가 모델 가져오기

___평가 지표 집계 함수 정의

___RLHF 적용 전과 후 평가 지표 비교

요약

 

▣ 08장: 모델 배포 최적화

모델 추론 최적화

___가지치기

___GPTQ 사후 학습 양자화

___증류

대규모 모델 추론 컨테이너

AWS 인퍼런시아: 추론 전용 하드웨어

모델 업데이트와 배포 전략

___A/B 테스트

___섀도 배포

지표와 모니터링

오토스케일링

___오토스케일링 정책

___오토스케일링 정책 정의

요약

 

▣ 09장: RAG와 에이전트를 활용한 맥락 인식 추론 애플리케이션

대규모 언어 모델의 한계

___환각

___지식 단절

RAG

___외부 지식 소스

___RAG 워크플로

___문서 로딩

___청킹

___문서 검색과 순위 재정렬

___프롬프트 증강

RAG 오케스트레이션과 구현

___문서 로딩과 청킹

___벡터 임베딩 저장소와 검색

___검색 체인

___최대 한계 관련성(MMR)을 활용한 순위 재정렬

에이전트

___ReAct 프레임워크

___프로그램 지원 언어 프레임워크

생성형 AI 애플리케이션

FMOps: 생성형 AI 프로젝트의 생명 주기 운영

___실험 단계 고려 사항

___개발 단계 고려 사항

___운영 배포 단계 고려 사항

요약

 

▣ 10장: 멀티모달 파운데이션 모델

활용 사례

멀티모달 프롬프트 엔지니어링 활용 예시

이미지 생성과 품질 향상

___이미지 생성

___이미지 편집 및 품질 향상

인페인팅, 아웃페인팅, 뎁스 투 이미지

___인페인팅

___아웃페인팅

___뎁스 투 이미지

이미지 캡셔닝과 시각적 질의응답

___이미지 캡셔닝

___콘텐츠 조정

___시각적 질의응답

모델 평가

___텍스트-이미지 생성형 작업

___이미지-텍스트 생성형 작업

___비언어적 추론

확산 아키텍처 기본 사항

___순방향 확산

___역방향 확산

___U-Net

스테이블 디퓨전 2 아키텍처

___텍스트 인코더

___U-Net과 확산 과정

___텍스트 컨디셔닝

___교차 어텐션

___스케줄러

___이미지 디코더

스테이블 디퓨전 XL 아키텍처

___U-Net과 교차 어텐션

___정제기

___컨디셔닝

요약

 

▣ 11장: 스테이블 디퓨전을 통한 생성 제어와 미세 조정

ControlNet

미세 조정

___드림부스

___드림부스와 PEFT-LoRA

___Textual Inversion

인간 피드백을 통한 강화 학습으로 인간 가치 정렬

요약

 

▣ 12장: 아마존 베드록 - 생성형 AI 관리형 서비스

베드록 파운데이션 모델

___아마존 타이탄 파운데이션 모델

___Stability AI의 스테이블 디퓨전 파운데이션 모델

베드록 추론 API

대규모 언어 모델

___SQL 코드 생성

___텍스트 요약

___임베딩

미세 조정

에이전트

멀티모달 모델

___텍스트로 이미지 생성

___이미지로 이미지 생성

데이터 프라이버시와 네트워크 보안

거버넌스와 모니터링

요약