RAG 엔지니어링(큰글자책)(AI문고)

RAG를 단순한 검색 기반 생성 기술이 아니라, 청크, 임베딩, 검색, 질의 변형, 문서 구성, 프롬프트, 평가가 맞물려 작동하는 하나의 시스템으로 설명한다. RAG가 왜 기대와 달리 실패하는지, 검색과 생성 사이의 불일치가 어떻게 답변 오류로 이어지는지, 이를 줄이기 위해 어떤 설계 기준이 필요한지를 실험과 사례를 통해 정리한다. RAG의 구조와 한계를 이해하고, 데이터와 질문 유형에 맞는 검색 전략, 컨텍스트 구성, 평가 방법을 판단하는 실무적 기준을 얻을 수 있다. AI문고. aiseries.oopy.io에서 필요한 인공지능 지식을 찾을 수 있다.

[목 차]

실험으로 이해하는 검색 기반 생성

01 RAG는 무엇을 하는 시스템인가

02 청크(Chunk)는 무엇을 바꾸는가

03 임베딩은 무엇을 놓치는가

04 검색은 왜 오차가 발생하는가

05 질의는 왜 변형해야 하는가

06 문서는 왜 성능에 영향을 미치는가

07 프롬프트는 어디까지 해결하는가

08 실패 사례로 보는 RAG

09 RAG는 어떻게 평가해야 하는가

10 RAG 설계의 기준

[본 문]

또한 LLM은 최신 정보 반영에 한계를 가진다. 학습 시점 이후의 정보는 모델 내부에 반영되지 않기 때문에, 변화가 빠른 도메인에서는 시간이 오래된 응답을 생성할 가능성이 높다. 이는 모델을 재학습하지 않는 이상 해결하기 어려운 문제이며, 현실적으로 지속적인 업데이트가 필요한 환경에서는 큰 제약으로 작용한다. 더불어, LLM은 응답의 근거를 명확히 제시하지 못하는 경우가 많아 생성된 결과의 신뢰성을 검증하기 어렵다는 문제도 존재한다. 이러한 한계를 보완하기 위한 접근이 바로 RAG다. RAG는 외부 지식으로부터 관련 정보를 검색하여 이를 LLM에게 컨텍스트로 제공하고, 이를 기반으로 응답을 생성함으로써 LLM의 한계를 구조적으로 보완한다. 검색을 통해 최신 정보를 반영할 수 있으며, 실제 문서를 근거로 활용함으로써 환각을 줄이고 응답의 신뢰성을 높일 수 있다. 즉, RAG는 LLM 자체를 개선하는 것이 아니라 외부 지식과의 결합을 통해 문제를 해결하는 시스템적 접근이라 할 수 있다.

－01_“RAG는 무엇을 하는 시스템인가” 중에서

효율적인 문장 임베딩 검색 구조는 빠른 검색에는 유리하지만, 질의와 문서 사이의 세밀한 상호작용을 직접 모델링하지 않기 때문에 정답성 판단에는 한계를 가질 수 있다. 즉, 의미적 근접성의 계산과 실제 정답 판별은 서로 다른 수준의 문제일 수 있다. 이러한 괴리는 실제 실험에서도 확인된다. 구조적으로 비슷하지만 의미적으로 다른 문장, 혹은 의미가 반대인 문장 쌍에도 높은 유사도가 부여되는 현상이 나타날 수 있다. 이는 임베딩이 관련 문서를 빠르게 거르는 1차 신호로는 유용하지만, 최종 정답을 판별하는 장치로는 충분하지 않을 수 있음을 뜻한다.

－03_“임베딩은 무엇을 놓치는가” 중에서

현실 세계의 문서는 순수 텍스트보다 훨씬 복합적이다. 보고서와 논문 등에는 그림, 차트, 수식, 스크린샷, 캡션, 주석, 표가 함께 등장하며, 중요한 정보가 텍스트가 아니라 시각 요소에 담기는 경우도 많다. 그러나 전통적 검색 파이프라인은 대개 텍스트만 인덱싱하므로, 시각 요소와 그 주변 설명 사이의 관계를 충분히 반영하지 못한다. 문서 이해 분야에서 LayoutLM과 같은 모델이 텍스트, 레이아웃, 시각 정보를 함께 다루려고 한 이유도, 문서 의미가 문자열만 가지고 해결할 수 없기 때문이다.

－06_“문서는 왜 성능에 영향을 미치는가” 중에서

RAG에서 중요한 평가는 답변이 단순히 “맞아 보이는가”가 아니라, 그 답변이 실제 근거에 의해 뒷받침되는가를 확인하는 것이다. 모델이 우연히 정답을 맞혔더라도, 검색된 문서에 없는 내용을 섞어 답했다면 이는 근거 기반 답변이라기보다 추정에 가깝다. 이 때문에 최근 연구들은 답변의 근거 충실성(faithfulness), 근거 기반성(groundedness), 출처 귀속(attribution)을 RAG 평가의 핵심 축으로 다룬다. 특히 자동 RAG 평가 시스템인 ARES(Automated RAG Evaluation System)는 문맥 관련성(context relevance), 답변의 근거 충실성(answer faithfulness), 답변 관련성(answer relevance)을 구분해 평가한다. 또한 후속 연구들은 근거 충실성 판단이 실제 운영 환경에서 답변을 보류하거나 재검색하는 전략과도 연결될 수 있다고 본다.

－09_“RAG는 어떻게 평가해야 하는가” 중에서