NLP와 LLM 실전 가이드 - 기초 수학부터 실전 AI 문제 해결까지

LLM 시대의 NLP는 선택이 아닌, 필수!

자연어 처리의 모든 기술을 마스터한다!

NLP(자연어 처리)를 마스터하고 싶지만 어디서부터 시작해야 할지 고민인가요? 이 책은 정확하고 올바른 출발점을 제시합니다. 머신러닝과 NLP 분야의 선도자들이 집필한 이 책은 NLP를 깊이 있게 다룹니다.

이 책은 머신러닝의 수학적 기초부터 시작해 LLM과 AI 응용 프로그램 같은 고급 NLP 기술로 점차 나아갑니다. 선형대수학, 최적화, 확률론, 통계학 등 머신러닝과 NLP 알고리즘을 이해하고 구현하는 데 필수적인 기초 개념을 익힐 수 있습니다. 또한 일반적인 머신러닝 기법을 살펴보며, 이를 NLP와 어떻게 연결할 수 있는지도 설명합니다.

이어 텍스트 데이터를 전처리하는 방법, 데이터를 분석하기 위해 정리하고 준비하는 과정 그리고 텍스트 분류를 수행하는 방법을 설명합니다. 이 모든 내용을 파이썬 코드 샘플과 함께 제공합니다.

책의 후반부에서는 LLM의 이론, 설계, 응용과 같은 고급 주제를 심도 있게 논의하며, NLP의 미래 동향에 대한 전문가 의견도 제공합니다. 또한 실제 NLP 비즈니스 사례와 솔루션을 통해 실무 능력을 키울 수 있도록 도와줍니다.

[목 차]

CHAPTER 1 자연어 처리 개요 살펴보기

_1.1 이 책의 대상

_1.2 자연어 처리란?

_1.3 컴퓨터 연산을 위한 자연어 처리 기본 접근 전략

_1.4 성공적인 시너지 효과 : 자연어 처리와 머신러닝의 만남

_1.5 자연어 처리의 수학 및 통계

_1.6 요약

_1.7 질문과 답변

 

CHAPTER 2 머신러닝과 자연어 처리를 위한 선형대수, 확률, 통계 마스터하기

_2.1 선형대수학 입문

_2.2 고윳값과 고유 벡터

_2.3 머신러닝을 위한 기본 확률

_2.4 요약

_2.5 더 알아보기

 

CHAPTER 3 자연어 처리에서 머신러닝 잠재력 발휘하기

_3.1 기술적 요구 사항

_3.2 데이터 탐색

_3.3 일반적인 머신러닝 모델

_3.4 모델 과소적합과 과대적합

_3.5 데이터 분할

_3.6 하이퍼파라미터 튜닝

_3.7 앙상블 모델

_3.8 불균형 데이터 다루기

_3.9 상관 계수 다루기

_3.10 요약

 

CHAPTER 4 자연어 처리 성능을 위한 텍스트 전처리 과정 최적화

_4.1 기술 요구 사항

_4.2 자연어 처리에서 소문자 변환

_4.3 특수 문자와 구두점 제거

_4.4 개체명 인식

_4.5 품사 태깅

_4.6 전처리 파이프라인 설명

_4.7 요약

 

CHAPTER 5 텍스트 분류 강화: 전통적인 머신러닝 기법 활용하기

_5.1 기술 요구 사항

_5.2 텍스트 분류의 유형

_5.3 TF-IDF를 활용한 텍스트 분류

_5.4 Word2Vec을 활용한 텍스트 분류

_5.5 토픽 모델링: 비지도 텍스트 분류의 특정 사례

_5.6 주피터 노트북을 활용한 자연어 처리 분류를 위한 머신러닝 시스템 설계 검토

_5.7 요약

 

CHAPTER 6 텍스트 분류의 재해석: 딥러닝 언어 모델 깊게 탐구하기

_6.1 기술 요구 사항

_6.2 딥러닝 기본 이해

_6.3 다양한 신경망 아키텍처

_6.4 신경망 훈련의 도전 과제

_6.5 언어 모델

_6.6 트랜스포머 이해하기

_6.7 대규모 언어 모델에 대한 더 깊은 이해

_6.8 언어 모델 훈련의 도전 과제

_6.9 GPT-3 사용의 도전 과제

_6.10 요약

 

CHAPTER 7 대규모 언어 모델 이해하기

_7.1 기술적 요구 사항

_7.2 대규모 언어 모델과 기존 언어 모델의 차이

_7.3 대규모 언어 모델이 주목받는 점

_7.4 대규모 언어 모델을 개발하고 활용하는 이유

_7.5 대규모 언어 모델 개발 도전 과제

_7.6 다양한 대규모 언어 모델의 유형

_7.7 최신 대규모 언어 모델의 설계 사례

_7.8 요약

 

CHAPTER 8 대규모 언어 모델의 잠재력을 끌어내는 RAG 활용 방법

_8.1 기술적 요구 사항

_8.2 대규모 언어 모델 애플리케이션 설정: API 기반의 비공개 소스 모델

_8.3 프롬프트 엔지니어링과 GPT 초기 설정

_8.4 대규모 언어 모델 애플리케이션 설정: 로컬 오픈 소스 모델

_8.5 허깅페이스의 대규모 언어 모델을 파이썬으로 활용하기

_8.6 RAG와 랭체인으로 고급 시스템 설계 탐구

_8.7 주피터 노트북에서 간단한 랭체인 설정 검토하기

_8.8 클라우드에서의 대규모 언어 모델 활용

_8.9 요약

 

CHAPTER 9 대규모 언어 모델이 주도하는 고급 응용 프로그램 및 혁신의 최전선

_9.1 기술 요구 사항

_9.2 RAG 및 랭체인으로 대규모 언어 모델 성능 향상: 고급 기능 탐구

_9.3 체인을 활용한 고급 방법

_9.4 다양한 웹 소스에서 자동으로 정보 검색하기

_9.5 프롬프트 압축과 API 비용 절감

_9.6 다중 에이전트: 협력하는 대규모 언어 모델 팀 구성

_9.7 요약

 

CHAPTER 10 대규모 언어 모델과 인공지능이 주도하는 과거, 현재, 미래 트렌드 분석

_10.1 대규모 언어 모델과 인공지능 관련 주요 기술 트렌드

_10.2 자연어 처리에서 컴퓨팅 파워의 미래

_10.3 대규모 데이터셋과 자연어 처리 및 대규모 언어 모델에 미친 영향

_10.4 대규모 언어 모델의 진화

_10.5 비즈니스 세계에서의 자연어 처리와 대규모 언어 모델

_10.6 인공지능과 대규모 언어 모델이 유도한 행동 트렌드(사회적 측면)

_10. 요약

 

CHAPTER 11 세계적 전문가들이 바라본 산업의 현재와 미래

_11.1 전문가 소개

_11.2 전문가와의 인터뷰

_11.3 요약