LLM 미세 튜닝 핵심만 빠르게 - 파이토치와 허깅 페이스 기반의 최신 미세 튜닝 기법

복잡한 이론은 덜고, 꼭 필요한 핵심만 담았다!
LLM 미세 튜닝을 익히는 가장 간결한 안내서
《LLM 미세 튜닝, 핵심만 빠르게!》는 급변하는 LLM 생태계 속에서 흔들리지 않는 핵심 개념에 집중해, 대규모 언어 모델을 직접 미세 튜닝할 수 있도록 안내하는 핸즈온 가이드입니다. 양자화, LoRA 어댑터, 데이터셋 포매팅, 지도 학습 미세 튜닝, 로컬 배포까지 전체 과정을 단계적으로 따라가며, 실제로 모델을 수정하고 동작을 바꾸는 경험을 제공합니다. 특히 허깅 페이스 생태계를 기반으로, 복잡한 내부 동작과 설정이 실제로 어떤 의미를 갖는지를 이해하도록 돕습니다.
이 책은 딥러닝과 파이토치, 트랜스포머 구조에 익숙한 중급 실무자를 대상으로 합니다. 단순히 코드를 실행하는 데서 그치지 않고 미세 튜닝의 성패를 가르는 핵심 조정과 설정을 알려 주며, 그렇게 하는 이유를 하나씩 짚어 줍니다. 따라서 책을 다 읽고 나면 개인용 GPU 환경에서도 모델을 효율적으로 미세 튜닝하고, 특정 작업에 최적화된 LLM을 설계·배포할 수 있는 실질적인 역량을 갖추게 될 것입니다.

 

이 책에서 다루는 내용
•BitsAndBytes를 사용해 양자화 모델 로드하기
•허깅 페이스의 PEFT를 활용한 LoRA 어댑터(로우 랭크 어댑터) 설정하기
•채팅 템플릿과 포매팅 함수를 사용해 효율적으로 데이터셋 포매팅하기
•개인용 GPU에서 LLM 미세 튜닝하기
•llama.cpp와 Ollama를 이용해 GGUF 포맷으로 로컬에 배포하기
•흔히 발생하는 오류 메시지 및 예외 상황 해결하기

[목 차]

옮긴이의 글

지은이의 글

 

0장 대규모 언어 모델 미세 튜닝 레시피

들어가며

0.1 양자화된 베이스 모델 로드하기

0.2 LoRA 설정하기

0.3 데이터셋 포매팅하기

0.4 SFTTrainer를 사용하여 미세 튜닝하기

0.5 모델에 질의하기

 

1장 대규모 언어 모델

들어가며

1.1 대규모 언어 모델과 소규모 언어 모델

1.2 트랜스포머

1.3 어텐션이 전부입니다

1.4 미세 튜닝의 종류

 

2장 양자화된 모델 로드하기

들어가며

2.1 양자화 방법

2.2 반정밀도 가중치

2.3 브레인 플로트

2.4 모델 로드하기

2.5 혼합 정밀도

2.6 BitsAndBytes

다음 장에서는

 

3장 LoRA

들어가며

3.1 파라미터 타입과 그레이디언트

3.2 PEFT

다음 장에서는

 

4장 데이터셋 포매팅

들어가며

4.1 템플릿 적용

4.2 토크나이저

4.3 데이터 콜레이터

4.4 패킹된 데이터셋

4.5 고급 방법 - BYOT(Bring Your Own Template)

다음 장에서는

 

5장 SFTTrainer로 미세 튜닝하기

들어가며

5.1 SFTTrainer 미세 튜닝

5.2 SFTConfig

5.3 (진짜) 실제 훈련

5.4 어텐션

5.5 실험 결과, 어블레이션 스타일

다음 장에서는

 

6장 로컬에 배포하기

들어가며

6.1 모델과 어댑터 로드하기

6.2 모델 쿼리

6.3 llama.cpp

6.4 모델 서빙

 

-1장 문제 해결

오류

경고

 

부록 A GPU 포드 설정하기

A.1 runpod.io 활용 주피터 랩 실행

A.2 포드 중지 및 종료

A.3 플래시 어텐션 2 설치

 

부록 B 데이터 타입의 내부 표현

B.1 정수

B.2 부동소수점 수

 

찾아보기

 

[본 문]

"2022년 11월 챗GPT가 출시된 이후로 LLM 분야의 발전 속도가 빨라져 따라가는 것이 거의 불가능하게 느껴집니다. 매일 새로운 기술, 새로운 모델, 또는 획기적인 발표가 있습니다. 분명히 흥미로운 시기이지만, 동시에 압도적이고, 지치며, 때로는 좌절감을 느끼게 할 수도 있습니다. “이걸 어디서부터 배워야 하지?”라는 질문이 생기는 것이 너무 당연하며, 이는 혼자서 답을 찾기 어려운 질문입니다. 그래서 그 질문의 답변으로 이 책을 썼습니다. 이 책은 안정성이 입증되었고 가까운 미래에도 미세 튜닝 과정의 핵심으로 남을 수 있는 개념 설명에 초점을 맞춥니다. 양자화, LoRA, 그리고 템플릿 포매팅이 바로 그것입니다. 이런 개념들을 마스터하는 것은 현재 상황을 이해하는 데 중요하며, 앞으로의 발전을 따라갈 수 있는 능력도 갖추게 해줄 것입니다. 이 개념들은 언어 모델뿐 아니라 다양한 대규모 모델을 훈련하거나 미세 튜닝하는 데에도 유용할 수 있습니다. 즉, 모든 데이터 과학자의 툴킷에 필요한 도구라고 할 수 있습니다.

이 책은 허깅 페이스 생태계를 기반으로 합니다. 그 이유는 언어 모델이든 아니든 허깅 페이스가 딥러닝 모델 작업을 위한 사실상의 표준이기 때문입니다. 이 책에서 소개하는 개념(양자화, 어댑터, 템플릿)이 이 생태계 안에서 깔끔하게 구현되고 통합되어 있기 때문에 비교적 사용하기 쉽습니다. 하지만 효과적으로 설정하는 방법과 그 설정이 실제로 내부에서 무엇을 하는지 이해해야 합니다. 이런 정보를 찾는 것은 쉽지 않습니다. 특히 GPU에서 LLM을 미세 튜닝할 때 이런 기술들이 실제로 어떻게 함께 작동하는지 설명하는 포괄적인 자료가 부족합니다. 이 책으로 그 간극을 메우려고 합니다."

• - ‘지은이의 글’ 중에서