실전 RAG 기반 생성형 AI 개발 - 라마인덱스 딥 레이크 파인콘으로 나만의 검색 증강 생성 파이프라인 만들기(위키북스 생성형 AI 프로그래밍 13)

RAG를 이용해 AI의 환각을 최소화하고, 임베딩 벡터 데이터베이스와 인간 피드백을 통합해서 정확하고 커스텀화된 생성형 AI 파이프라인을 구축한다!

 

《실전! RAG 기반 생성형 AI 개발》은 성능과 비용의 균형을 맞추는 효과적인 LLM, 컴퓨터비전, 생성형 AI 시스템을 구축하기 위한 로드맵을 제시한다.

 

이 책은 RAG와 다중 모달 AI 파이프라인을 설계, 관리, 제어하는 방법을 상세히 설명한다. RAG는 출력을 추적 가능한 원본 문서와 연결함으로써 출력의 정확성과 문맥 관련성을 향상시키며, 대량의 정보를 관리하는 동적 접근 방식을 가능하게 하는 기술이다. 이 책은 또한 벡터 저장소, 청킹, 색인화, 순위 지정에 대한 실용적 지식을 제공하며, RAG 프레임워크를 처음부터 끝까지 구축하는 방법을 보여준다. 적응형 RAG와 사람의 피드백을 활용한 검색 정확도 개선, RAG와 미세조정의 균형, 실시간 의사결정을 강화하는 동적 RAG 구현, 지식 그래프를 통한 복잡한 데이터 시각화 등 프로젝트 성능을 최적화하고 데이터를 더 잘 이해할 수 있는 기법들을 배우게 될 것이다.

 

라마인덱스, 파인콘, 딥레이크 같은 프레임워크와 오픈AI, 허깅페이스 같은 생성형 AI 플랫폼을 이용한 풍부한 실습 예제를 담고 있다. 이 책을 통해 지능형 솔루션을 구현하는 기술을 습득한다면 프로덕션에서 고객 서비스까지 그 어떤 프로젝트에서도 경쟁력을 갖추게 될 것이다.

★ 이 책에서 다루는 내용 ★

 

◎ 대규모 데이터셋을 효율적으로 처리하도록 RAG 파이프라인을 확장한다.

◎ 환각 현상을 최소화하고 정확한 응답을 보장하는 기법을 적용한다.

◎ 추적 가능하고 투명한 출력으로 AI 정확도를 높이는 색인화 기법을 구현한다.

◎ RAG 주도 생성형 AI 시스템을 다양한 도메인에 걸쳐 커스텀화하고 확장한다.

◎ 딥레이크와 파인콘을 활용해서 데이터를 더 빠르고 효율적으로 검색한다.

◎ 실제 데이터에 기반해서 견고한 생성형 AI 시스템을 구축하고 제어한다.

◎ 더 풍부하고 유익한 AI 응답을 위해 텍스트와 이미지 데이터를 결합한다.

[목 차]

▣ 01장: RAG(검색 증강 생성)가 필요한 이유 

1.1 RAG란 무엇인가? 

1.2 단순, 고급, 모듈형 RAG 구성 

1.3 RAG 대 미세조정 

1.4 RAG 생태계 

__1.4.1 검색기(D) 

__1.4.2 생성기(G) 

__1.4.3 평가기(E) 

__1.4.4 훈련기(T) 

1.5 단순, 고급, 모듈형 RAG의 파이썬 구현 

__1.5.1 파트 1: 기초와 기본 구현 

__1.5.2 파트 2: 고급 기법과 평가 

 

▣ 02장: 딥 레이크와 오픈AI를 활용한 RAG 임베딩 벡터 저장소 

2.1 원시 데이터에서 벡터 저장소의 임베딩으로 

2.2 RAG 시스템을 하나의 파이프라인으로 구성 

2.3 RAG 기반 생성형 AI 파이프라인 

2.4 RAG 파이프라인 구축 

__2.4.1 환경 설정 

__2.4.2 구성요소 1: 데이터 수집과 준비 

__2.4.3 구성요소 2: 데이터 임베딩과 저장 

__2.4.4 벡터 저장소 정보 

__2.4.5 구성요소 3: 입력 증강과 응답 생성 

2.5 코사인 유사도를 이용한 출력 평가 

 

▣ 03장: 라마인덱스, 딥 레이크, 오픈AI를 활용한 색인 기반 RAG 구축 

3.1 색인 기반 RAG를 사용하는 이유 

__3.1.1 아키텍처 

3.2 드론 기술 정보를 위한 의미론적 검색 엔진과 생성형 에이전트 구축 

__3.2.1 환경 설치 

__3.2.2 파이프라인 1: 문서 수집과 준비 

__3.2.3 파이프라인 2: 벡터 저장소 준비 

__3.2.4 파이프라인 3: 색인 기반 RAG 

3.3 벡터 저장소 색인 및 쿼리 엔진 

__3.3.1 쿼리 응답과 출처 확인 

__3.3.2 최적화된 청킹 

__3.3.3 성능 지표 

3.4 트리 색인 쿼리 엔진 

__3.4.1 성능 지표 

3.5 목록 색인 쿼리 엔진 

__3.5.1 성능 지표 

3.6 키워드 색인 쿼리 엔진 

__3.6.1 성능 지표 

 

▣ 04장: 드론 기술을 위한 다중 모달 모듈형 RAG 

4.1 다중 모달 모듈형 RAG란 무엇인가? 

4.2 드론 기술용 다중 모달 모듈형 RAG 프로그램 구축 

__4.2.1 LLM 데이터셋 적재

__4.2.2 다중 모달 데이터셋 적재 및 시각화 

__4.2.3 다중 모달 데이터셋 구조 

__4.2.4 다중 모달 쿼리 엔진 구축 

__4.2.5 다중 모달 모듈형 쿼리 결과 요약 

__4.2.6 성능 지표 

 

▣ 05장: 전문가의 피드백을 이용한 RAG 성능 향상 

5.1 적응형 RAG 

5.2 파이썬을 이용한 하이브리드 적응형 RAG 시스템 구축 

__5.2.1 검색기(섹션 1) 

__5.2.2 생성기(섹션 2) 

__5.2.3 평가기(섹션 3) 

 

▣ 06장: 파인콘을 이용한 RAG 은행 고객 데이터 확장 

6.1 파인콘을 이용한 확장 

__6.1.1 아키텍처 

6.2 파이프라인 1: 데이터셋 수집 및 준비 

__6.2.1 데이터셋 수집과 처리(섹션 1) 

__6.2.2 탐색적 데이터 분석(섹션 2) 

__6.2.3 ML 모델 훈련(섹션 3) 

6.3 파이프라인 2: 파인콘 색인(벡터 저장소) 확장 

__6.3.1 벡터 저장소 관리의 난제들 

__6.3.2 환경 설치 

__6.3.3 데이터셋 처리 

__6.3.4 데이터셋 청킹 및 임베딩 

__6.3.5 파인콘 색인 생성 

__6.3.6 업서트 

__6.3.7 파인콘 색인 쿼리 

6.4 파이프라인 3: RAG 생성형 AI 

__6.4.1 GPT-4o를 이용한 RAG 

__6.4.2 관련 텍스트 추출 

__6.4.3 입력 증강과 프롬프트 엔지니어링 

__6.4.4 증강 생성 

 

▣ 07장: 위키백과 API와 라마인덱스를 활용한 확장 가능한 지식 그래프 기반 RAG 구축 

7.1 지식 그래프 기반 의미 검색을 위한 RAG 아키텍처 

__7.1.1 노드들로 트리 그래프 만들기 

7.2 파이프라인 1: 문서 수집 및 준비 

__7.2.1 위키백과 데이터 및 메타데이터 검색 

__7.2.2 업서트를 위한 데이터 준비 

7.3 파이프라인 2: 딥 레이크 벡터 저장소 생성 및 채우기 

7.4 파이프라인 3: 지식 그래프 색인 기반 RAG 

__7.4.1 지식 그래프 색인 생성 

__7.4.2 그래프 표시 

__7.4.3 지식 그래프 색인과 상호작용 

__7.4.4 유사도 점수 패키지 설치 및 함수 정의 

__7.4.5 재순위화 

__7.4.6 예시 지표들 

 

▣ 08장: 크로마와 허깅 페이스 라마를 이용한 동적 RAG 

8.1 동적 RAG의 아키텍처 

8.2 환경 설치 

__8.2.1 허깅 페이스 설치 

__8.2.2 크로마 설치 

8.3 세션 시간 활성화 

8.4 데이터셋 다운로드 및 준비 

8.5 크로마 컬렉션에 데이터 임베딩 및 업서트 

__8.5.1 모델 선택 

__8.5.2 문서 임베딩 및 저장

__8.5.3 임베딩 표시 

8.6 컬렉션에 대한 쿼리 실행 

8.7 프롬프트와 검색 

8.8 라마를 이용한 RAG 

__8.8.1 컬렉션 삭제 

8.9 전체 세션 시간 

 

▣ 09장: AI 모델의 역량 강화 - RAG 데이터와 인간 피드백의 미세조정 

9.1 정적 RAG 데이터 미세조정의 아키텍처 

__9.1.1 RAG 생태계 

9.2 환경 설치 

9.3 미세조정을 위한 데이터셋 준비(섹션 1) 

__9.3 1 데이터셋 다운로드와 시각화(섹션 1.1) 

__9.3 2 미세조정을 위한 데이터셋 준비(섹션 1.2) 

9.4 모델 미세조정(섹션 2) 

__9.4.1 미세조정 모니터링 

9.5 미세조정된 오픈AI 모델 실행(섹션 3) 

9.6 지표 

 

▣ 10장: 파인콘과 오픈AI를 활용한 동영상 스톡 제작용 RAG 시스템 

10.1 동영상 제작을 위한 RAG 아키텍처 

10.2 동영상 제작 생태계의 환경

__10.2.1 모듈과 라이브러리 임포트 

__10.2.2 깃허브 

__10.2.3 오픈AI 

__10.2.4 파인콘 

10.3 파이프라인 1: 생성기와 해설 작성기 

__10.3.1 AI 생성 동영상 데이터셋 

__10.3.2 생성기와 해설 작성기 

10.4 파이프라인 2: 벡터 저장소 관리자 

__10.4.1 파인콘 색인 쿼리 

10.5 파이프라인 3: 동영상 전문가 

 

▣ 부록A: 연습문제 해답