[목 차]
베타리더 후기 x
시작하며 xiii
이 책에 대하여 xv
PART I 개발 전 필요한 배경지식
CHAPTER 1 LLM과 RAG 기초 3
1.1 LLM의 개념과 작동 원리 4
1.2 LLM의 주요 특징 16
1.3 LLM의 실제 활용 사례 17
1.4 RAG란? 18
1.5 RAG 파이프라인 구성 시 LangChain 활용의 장점 21
CHAPTER 2 벡터 저장소와 임베딩, 검색 전략 24
2.1 RAG 파이프라인의 핵심 구성 요소 24
2.2 벡터 저장소 검색 방식 비교 30
CHAPTER 3 프롬프트 엔지니어링 기초 35
PART II LangChain을 활용한 RAG 파이프라인 구성하기
CHAPTER 4 LangChain 입문 45
4.1 LangChain이란? 45
4.2 환경 설정과 LangChain ChatOpenAI 활용법 47
CHAPTER 5 로컬 및 오픈소스 LLM 활용: Ollama와 허깅 페이스 54
5.1 Ollama를 활용한 로컬 LLM 활용 55
5.2 허깅 페이스의 오픈소스 LLM 활용 60
CHAPTER 6 Chroma를 활용한 벡터 저장소 구성 69
CHAPTER 7 retrieval 효율 개선을 위한 데이터 전처리 79
CHAPTER 8 LLM을 효율적으로 사용하는 방법 84
8.1 분할 정복 85
8.2 LCEL의 특징 87
8.3 소규모 LLM을 활용한 비용 최적화 101
CHAPTER 9 LangChain을 활용하지 않는다면? 108
CHAPTER 10 LangChain의 유연한 AI 스택 구성 114
PART III LangGraph를 활용한 AI 에이전트 구현하기
CHAPTER 11 LangGraph 입문 127
11.1 LangGraph란? 127
11.2 LangGraph와 LangChain의 차이점 129
CHAPTER 12 워크플로 vs. 에이전트 134
12.1 LangGraph로 구현하는 워크플로 135
12.2 LangGraph로 구현하는 에이전트 144
CHAPTER 13 에이전트 오케스트레이션 157
13.1 슈퍼바이저 상태 및 라우터 정의 172
13.2 슈퍼바이저 구성 요소 설정 173
13.3 Command 클래스와 구조화된 출력 기능을 활용한 슈퍼바이저 노드 구현 174
13.4 에이전트 노드 구현 176
13.5 에이전트 노드의 역할과 구현 방식 178
13.6 그래프 구성 및 컴파일 182
CHAPTER 14 MCP를 활용한 에이전트 구현 186
14.1 MCP 서버 구현 189
14.2 LangChain 도구를 MCP 도구로 변환 196
CHAPTER 15 LangSmith를 활용한 에이전트 모니터링 205
15.1 Input(입력) 209
15.2 Output(출력) 210
15.3 TOTAL TOKENS(토큰 사용량) 211
15.4 LATENCY(지연 시간) 212
15.5 LangSmith를 활용한 에이전트 평가 213
CHAPTER 16 실전 AI 에이전트 구현 사례 215
16.1 우버의 대규모 코드 마이그레이션 에이전트 216
16.2 AppFolio의 부동산 관리 코파일럿 217
16.3 링크드인의 AI 리크루터 218
16.4 일래스틱서치의 AI 어시스턴트 219
16.5 Klarna의 고객 지원 AI 어시스턴트 220
PART IV LLM 성능 평가
CHAPTER 17 LLM 평가의 중요성 225
17.1 LLM의 예측 불가능성 225
17.2 안정적인 AI 에이전트 서비스를 위한 평가의 중요성 226
17.3 LLM 평가의 고유한 어려움 228
17.4 체계적인 LLM 평가 접근법 233
CHAPTER 18 LLM 평가 지표 240
18.1 검색 정확도 관련 지표 241
18.2 응답 품질 관련 지표 244
18.3 사용자 경험 관련 지표 247
18.4 종합 평가 지표 251
18.5 RAG 시스템의 핵심 평가 영역 253
18.6 평가 지표 간의 균형과 최적화 255
CHAPTER 19 LLM 평가를 위한 골든 데이터셋 257
19.1 골든 데이터셋의 개념 257
19.2 골든 데이터셋 구축 방법 259
19.3 골든 데이터셋의 구조화와 협업 도구 활용 262
19.4 골든 데이터셋 활용 방법 267
19.5 효과적인 골든 데이터셋 구축과 활용 전략 270
CHAPTER 20 오프라인 평가 vs. 온라인 평가 271
20.1 오프라인 평가 272
20.2 온라인 평가 274
20.3 하이브리드 접근법 284
20.4 RAG 시스템을 위한 평가 전략 288
20.5 효과적인 LLM 평가를 위한 전략적 접근 293
CHAPTER 21 LangSmith를 활용한 에이전트 평가 294
CHAPTER 22 앞으로 나아갈 방향 308
22.1 에이전트의 지능 향상 308
22.2 멀티 에이전트 시스템으로의 확장 309
22.3 실제 비즈니스 적용을 위한 다음 단계 310
찾아보기 314
[본 문]
LLM 서비스를 운영할 때는 환각(hallucination)을 유의해야 한다. 환각은 LLM이 답변을 생성할 때, 데이터에 기반하지 않고 사실과 다른 정보를 생성하는 현상이다. 따라서 LLM을 활용한 서비스를 운영한다면 어떤 문서를 참고했는지 답변의 출처를 같이 보여주는 것이 중요하다. 그래서 벡터 저장소에 메타 데이터를 같이 저장해야 하고, 어떤 문서의 몇 페이지에서 가져왔다는 것을 함께 보여준다. 이러한 방식은 LLM 답변의 신뢰도를 보증하고, 서비스 품질을 높이는 데 기여한다. (26쪽)
문맥을 조금 더 자세히 작성하면 원하는 결과를 얻어낼 수 있다. 코드로 사용한 EXAONE 3.5와 추론 모델인 exaone-deep을 제외하고 Ollama에서 공식적으로 한국어를 지원하는 모델은 없다. 하지만 앞에서 언급한 한국어 LLM 리더보드를 보면, 공식적으로 한국어를 지원하는 claude-3-opus나 gpt-4o-mini보다 Qwen2.5, Llama3.1 등의 모델이 한국어 이해 능력이 더 뛰어나다. / 특히 MarkerAI에서 공개한 수능 국어 LLM 리더보드에 따르면, 상용 LLM인 앤트로픽 Claude Haiku 4.5보다 Llama3.1-405B가 수능 국어 문제 해결에 더 좋은 성과를 보인다. 따라서 Ollama는 여전히 사용할 만한 가치가 있다. 하지만 꼭 한국어를 지원하는 오픈소스 LLM을 사용해야 한다면, 허깅 페이스의 오픈소스 LLM을 사용하는 것이 적절하다. (59쪽)
세액이 계산된 것처럼 보이지만, 사실은 그렇지 않다. 원본 문서에 따르면 "주택에 대한 종합부동산세의 과세표준은 납세의무자별로 주택의 공시가격을 합산한 금액에서 다음 각 호의 금액을 공제한 금액에 부동산 시장의 동향과 재정 여건 등을 고려하여 100분의 60부터 100분의 100까지의 범위에서 대통령령으로 정하는 공정시장가액비율을 곱한 금액으로 한다. 다만, 그 금액이 영보다 작은 경우에는 영으로 본다"라고 되어 있다. 따라서 사용자가 세금에 관한 질문을 했을 때, 공시가격, 공제액, 공정시장가액비율을 바탕으로 답변을 생성해야 한다. (83쪽)
슈퍼바이저가 의사결정을 내리고 나면, 실제 작업을 수행할 에이전트 노드를 구현해야 한다. 각 에이전트 노드는 해당 도메인에 특화된 에이전트를 실행하고 그 결과를 슈퍼바이저에게 반환하는 역할을 한다. / 에이전트 노드는 멀티 에이전트 시스템에서 개별 에이전트와 전체 워크플로를 연결하는 중요한 인터페이스 역할을 한다. (176쪽)
모델별로 토큰 수를 측정하는 방식이 다른데, 예를 들어 GPT-4는 tiktoken 인코딩을, Claude는 자체 토크나이저를 사용한다. LangSmith는 각 LLM 제공업체의 API 응답에 포함된 토큰 사용량을 자동으로 파싱해 기록하기 때문에 개발자가 모델별 토큰 계산을 위한 별도의 로직을 작성할 필요가 없다. 또한 입력 토큰(prompt token)과 출력 토큰을 구분해 표시하므로, 비용 구조를 더욱 상세히 분석할 수 있다. (211쪽)
잘못된 세금 정보를 제공하면 사용자가 직접적인 금전적 손해를 입을 수 있다. 이러한 위험을 줄이려면, 체계적인 지표 모니터링으로 성능 저하나 이상 징후를 조기에 발견하고 대응해야 한다. 특히 안전성과 정확성 지표는 법적 리스크를 최소화하는 핵심 도구다. (238쪽)
복잡한 법령 데이터도 척척 읽어내는 실전형 에이전트 시스템 구축 방법
ChatGPT는 누구나 쓴다. 프롬프트만 몇 줄 넣으면 나름의 요령도 생긴다. 하지만 막상 '우리 서비스에 GPT 같은 기능을 넣어보자'는 요청이 오면 손이 멈춘다. API는 연결했는데 응답은 들쭉날쭉하고, 프롬프트는 점점 복잡해지고, 시스템 전체 구조는 머릿속에서만 맴돈다. 무언가 더 만들고 싶고, 제대로 해보고 싶지만 어디서부터 어떻게 시작해야 할지 모르겠다.
이 책은 바로 그 '막막함' 다음을 위한 실전 안내서다. LangChain으로 문서를 다루는 RAG 구조를 구성하고, LangGraph로 도구 호출과 흐름 제어가 가능한 멀티스텝 에이전트를 설계하며, LangSmith를 활용해 결과를 분석하고 성능을 개선하는 방법까지 실습한다. 코드를 따라 입력하는 걸 넘어 어떻게 구조를 설계하고 흐름을 짜야 하는지를 중심으로 다룬다. 단순한 설명에서 그치는 것이 아니라 실전에서 통하는 설계 감각을 익힐 수 있다.
예제도 한국 독자에게 익숙한 종합부동산세법과 소득세법 문서를 직접 다룬다. LangChain을 이용해 법령을 불러오고, 청크로 나누고, 임베딩하고, 벡터 검색을 통해 적절한 조항을 찾아 응답하는 RAG 시스템을 직접 구성한다. 그다음엔 멀티스텝 에이전트를 설계한다. LangGraph로 조건 분기, 도구 호출, 반복 흐름까지 담긴 일하는 AI의 전체 구조를 직접 설계하고 만들어볼 수 있다. 또한, 한 번 만들어보고 끝이 아니다. LangSmith를 활용해 평가 지표를 설정하고, 환각을 검출하고, 더 나은 응답을 위한 개선 루프를 설계하면서 '만드는 법'뿐 아니라 '잘 작동하게 만드는 법'까지 경험할 수 있다.
GPT는 써봤지만 이제는 구조를 만들고 흐름을 설계하고 싶다면, 프롬프트만 만지던 것에서 벗어나 진짜 일하는 에이전트를 만들고 싶다면, 서비스에 도움이 되는 AI를 구현하고 싶다면 바로 이 책이 그 출발점이 되어줄 것이다.
주요 내용
●LLM, 임베딩, 프롬프트 등 필수 배경지식 정리
●LangChain으로 RAG 기반 질의응답 시스템 구축
●종합부동산세법 기반 RAG 시스템 예제 실습
●Ollama, 허깅 페이스 등 로컬 LLM 실습
●LangGraph를 활용한 멀티스텝 에이전트 설계
●워크플로와 에이전트 오케스트레이션 구조 이해
●신뢰도 높은 에이전트 개발을 위한 평가 전략
●LangSmith를 통한 평가 및 모니터링 체계 구축