[목 차]
머리말 xi
베타리더 후기 xii
이 책을 읽는 법 xiv
학습 가이드 xvi
로드맵 xviii
CHAPTER 1 인공지능과 ChatGPT
1.1 자연에서 모방하라 2
1.2 신경계의 가장 기본 단위 5
1.3 ChatGPT 알아보기 10
돌아보기/쪽지시험 17
CHAPTER 2 구글 코랩과 파이썬
2.1 취미로 만들어진 언어: 파이썬 20
2.2 구글 코랩 사용방법 23
2.3 파이썬 문법 29
돌아보기/쪽지시험 74
CHAPTER 3 챗봇과 ChatGPT
3.1 챗봇의 특징 및 활용 78
3.2 ChatGPT의 특징과 활용 89
3.3 챗봇과 ChatGPT의 차이 97
돌아보기/쪽지시험 99
CHAPTER 4 자연어 처리의 이해
4.1 자연어 처리란? 102
4.2 라이브러리 활용: spaCy 111
4.3 라이브러리 활용: KoNLPy 120
돌아보기/쪽지시험 126
CHAPTER 5 정형 데이터
5.1 정형 데이터란? 130
5.2 정형 데이터 직접 만들어보기 133
5.3 정형 데이터의 활용 140
5.4 Open API 활용하기 149
돌아보기/쪽지시험 156
CHAPTER 6 비정형 데이터
6.1 비정형 데이터 160
6.2 비정형 데이터의 수집 164
돌아보기/쪽지시험 174
CHAPTER 7 데이터 시각화
7.1 데이터 시각화의 종류 180
7.2 데이터 시각화의 활용 198
돌아보기/쪽지시험 205
CHAPTER 8 데이터 분석하기 I
8.1 데이터의 전처리 210
8.2 데이터의 기술통계량 산출하기 219
돌아보기/쪽지시험 226
CHAPTER 9 데이터 분석하기 II
9.1 상관분석의 정의 및 활용 230
9.2 회귀분석의 정의 및 활용 240
돌아보기/쪽지시험 246
CHAPTER 10 데이터 분류하기
10.1 분류 방법론의 정의 250
10.2 분류 방법론의 활용 및 해석 269
돌아보기/쪽지시험 273
CHAPTER 11 데이터 예측하기 I
11.1 전통적인 시계열 분석 방법론의 정의 및 활용 278
11.2 ARIMA의 활용 283
돌아보기/쪽지시험 291
CHAPTER 12 데이터 예측하기 II
12.1 머신러닝 기반의 시계열 분석 296
12.2 딥러닝 기반의 시계열 예측 300
돌아보기/쪽지시험 309
CHAPTER 13 LLM과 허깅 페이스 생태계 이해하기
13.1 ChatGPT의 등장과 LLM 시대 314
13.2 LLM의 작동 원리 317
13.3 허깅 페이스란 무엇인가? 321
13.4 허깅 페이스의 핵심 도구 324
13.5 구글 코랩에서 LLM 실행하기 328
CHAPTER 14 초경량 한국어 LLM 챗봇 만들기: KoGPT2 파인튜닝 실습
14.1 실습 개요 334
14.2 코랩 준비와 필수 라이브러리 설치 336
14.3 모델과 토크나이저 로딩 337
14.4 훈련 데이터 정의 및 전처리 338
14.5 데이터 토큰화 및 입력/정답 생성 340
14.6 학습 설정 및 Trainer 구성 341
14.7 학습 실행 및 모델 저장 342
14.8 CLI 챗봇 실행 및 테스트 343
14.9 최종 코드 345
찾아보기 347
[본 문]
인류는 오랫동안 사람의 뇌를 모방한 기술을 개발하려 노력했고, 그 결과가 바로 인공지능(artificial intelligence, AI)입니다. 인공지능을 이해하려면, 모든 분야를 깊이 파고들 필요는 없지만 인공지능 발전의 기초가 되는 지식을 알아두면 좋습니다. 이를 통해 인간 지능의 진화 과정과 미래 방향을 더 잘 이해할 수 있기 때문이죠. 대표적으로 자연 지능(natural intelligence, NI)과 인간 지능(human intelligence, HI)에 대해 이야기할 수 있습니다. 인간지능은 다양한 의미로 해석이 가능하지만 본문에서는 ‘인간이 문제를 해결하는 능력’을 인간지능으로 해석의 폭을 규정하겠습니다. (3쪽)
챗봇은 기존의 방식처럼 단순히 정보를 보여주는 것을 넘어, 사용자가 대화라는 자연스러운 방법으로 정보를 탐색하고 얻을 수 있도록 돕습니다. 또한, 챗봇은 초기 개발 상태에 머무르지 않고 지속적인 관리와 업데이트를 통해 점차 제공하는 정보의 범위를 확장합니다. (78쪽)
자연어는 어떻게 처리될까요? 여기서 ‘처리’라는 단어는 매우 넓은 의미를 포함하고 있습니다. 차근차근 해결하기 위해 상황을 쪼개서 바라봅시다. 일반적으로 사용자가 질문을 하고, 프로그램이 답변을 제공하는 순서로 이루어집니다. 프로그램을 개발하는 입장에서는 첫 번째로 사용자의 질문을 정확히 이해(understanding)하고, 두 번째로 그 질문에 적절한 답변을 생성(generation)하는 작업이 필요하겠군요. 여기서 ‘이해’와 ‘생성’이라는 키워드가 중요해보입니다. (125쪽)
여기서 우리는 두 가지 중요한 교훈을 얻을 수 있습니다. 첫 번째는 더 나은 결정을 내리기 위해서는 데이터가 필요하다는 점입니다. 생환한 전투기의 총탄 흔적을 기록하여 활용한 부분이 바로 데이터를 수집하는 과정입니다. 두 번째는 수집된 데이터에서 유의미한 데이터를 골라내어 결정을 내리는 것입니다. 이처럼 생환 여부와 같이 무서운 예시를 통해, 잘못된 데이터의 수집과 활용이 얼마나 치명적일 수 있는지 알 수 있습니다. 이 이야기는 데이터의 중요성을 뇌리에 깊이 새기게 합니다. (131쪽)
LLM의 문장 생성 원리는 비유하자면 ‘다음 단어 맞히기 게임’과 같습니다. 하나의 문장이 입력되면 모델은 그 문맥이 내포한 의미와 흐름을 분석하여, 통계적으로 가장 적합한 단어를 확률적으로 계산해 이어 붙입니다. 이 단어 예측 과정을 수백, 수천 번 반복하면서 단어가 문장을 이루고, 문장이 쌓여 하나의 단락이 형성되며, 결국에는 완결된 글이나 자연스러운 대화가 탄생합니다. (315쪽)
이번 장에서는 한국어 GPT2 모델인 skt/kogpt2-base-v2를 기반으로, 간단한 예시 대화 데이터셋을 이용해 초경량 한국어 챗봇을 직접 만들어보는 실습을 진행합니다.1 구글 코랩에서 제공하는 무료 GPU 환경을 활용하며, transformers, datasets, accelerate 라이브러리를 통해 모델 로딩, 데이터 전처리, 학습, 저장, 추론까지의 전체 파이프라인을 직접 구현하겠습니다. (334쪽)
AI를 설명하는 책은 많지만, 초보자가 직접 만들어보는 책은 많지 않습니다.
이 책은 개념을 읽고 이해하는 데서 멈추지 않습니다. 문장을 입력하면 어떻게 숫자로 바뀌는지, 데이터는 어떤 과정을 거쳐 분석되고 예측되는지, 그 결과가 어떻게 하나의 응답으로 완성되는지를 직접 만들어보며 확인합니다. 파이썬 기초에서 출발해서 자연어 처리, 데이터 분석 및 시각화, 예측 모델, LLM 파인튜닝까지 하나의 흐름으로 연결된 실습을 따라가다보면, 자연스럽게 AI 기술과 구조를 이해할 것입니다.
이 책만의 특별한 점
AI와 챗봇의 속을 들여다보는 일은 어렵고 복잡하다는 인식이 강합니다. 이 책은 코딩과 인공지능이 처음인 독자도 끝까지 따라갈 수 있도록 구성된 실습 중심 입문서입니다. 개념 설명에 그치지 않고, 실제 데이터를 다루고 코드를 실행하며 자연스럽게 AI의 흐름을 익히도록 안내합니다.
파이썬, 데이터 분석, AI를 하나의 흐름으로 학습 파이썬 기초 문법에서 시작해 자연어 처리, 데이터 시각화, 분석, 예측, LLM 챗봇 구현까지 하나의 맥락으로 연결합니다. 각각 따로 배우면 흩어지기 쉬운 개념들을 ‘왜 필요한지’, ‘어디에 쓰이는지’ 이해하며 학습할 수 있습니다.
구글 코랩 기반의 실습 중심 구성 복잡한 개발 환경 설정 없이, 구글 코랩만으로 모든 실습을 진행합니다. 어디서든 이 책과 함께 인터넷만 연결되면 학습을 시작할 수 있습니다.
LLM과 챗봇의 구조를 직접 구현하며 이해 ChatGPT 같은 LLM이 어떤 구조로 동작하는지 이론으로만 설명하지 않습니다. 허깅 페이스 생태계를 이해하고, 초경량 한국어 LLM을 파인튜닝해 실제로 동작하는 챗봇을 만들어보며 생성형 AI의 핵심 원리를 체득할 수 있습니다.
이 책은 누가 읽으면 좋을까요?
파이썬과 AI에 처음 입문하는 독자
인공지능과 LLM의 원리를 제대로 이해하고 싶은 독자
데이터 분석과 머신러닝을 실습으로 배우고 싶은 학습자
AI 챗봇 개발의 전체 그림을 알고 싶은 비전공자
현업에서 활용 가능한 AI 기초 역량을 갖추고 싶은 개발자
이 책에서 다루는 내용은 무엇인가요?
파이썬과 데이터 분석을 기반으로 AI의 원리를 실습 중심으로 학습
정형·비정형 데이터 처리, 시각화, 분석, 예측까지 이어지는 엔드 투 엔드 실습
머신러닝·딥러닝 기법을 활용한 실전 예측 모델 구현
허깅 페이스 기반 LLM 이해 및 초경량 한국어 LLM 챗봇 직접 만들기