• 베스트
  • 소득공제
  • 무료배송

트랜스포머를 활용한 자연어 처리-허깅페이스 개발팀이 알려주는 자연어 애플리케이션 구축

  • 루이스턴스톨,레안드로폰베라,토마스울프
  • 박해선
  • 한빛미디어
  • 2022년 11월 30일
사용자 평점
0리뷰 0개
10%35,100원39,000원
적립금
1,950원 (5% 적립)
추가 적립 안내

  • 5만원 이상 결제 시 (*배송비 제외)

    정가제FREE(상품/사은품) 금액이
    2,000원 이상이면 2,000원 추가적립

  • 10만원 이상 결제 시 (*배송비 제외)

    정가제FREE(상품/사은품) 금액이
    2,000원 이상이면 2,000원 추가적립

    정가제FREE(상품/사은품) 금액이
    5,000원 이상이면 5,000원 추가적립

결제혜택

회원가입 시 적립금 즉시 지급!

등록 페이지로 이동
배송비
무료 (해외배송의 경우 지역에 따라 상이)

배송안내

배송비 안내
  • 1만원 이상 주문 시 무료배송 입니다.
  • 주문하신 상품을 해외로 배송 하시는 경우에는 별도의 항공료 가 부과됩니다
서울특별시 강남구 강남대로 542(논현동, 영풍빌딩)
지역변경
지역변경
주문 수량 변경시 안내

[주문/배송] 주문 수량 변경 시 안내

주문 수량 변경 시,배송일정이 변경될 수 있으니 반드시 확인해 주시기 바랍니다.
(고객센터 1544-9020)

지금 주문하면 10/7(수) 출고 가능
택배보다 빠른, 나우드림
상품 규격 정보
상품상세정보
ISBNISBN-13 : 9791169210508
쪽수484쪽
크기기타 규격
제품구성단행본
이 책이 속한 분야
  • 컴퓨터/IT > 시스템공학
관련 이벤트

AI추천 이유

책 소개

자연어를 찰떡같이 알아듣는 트랜스포머 완벽 해부하기

트랜스포머는 우리 주변에 가득하다! 트랜스포머 아키텍처는 순식간에 자연어 처리 분야를 지배했다. 기자처럼 뉴스를 작성하고, 프로그래머의 코드를 자동 완성하며, 사람들이 원하는 그림을 그려내고 있다. 이 책은 데이터 과학자나 프로그래머가 트랜스포머 모델을 훈련하고 확장할 수 있도록 허깅페이스의 트랜스포머스 라이브러리를 활용하는 실용적인 방법을 안내한다. 허깅페이스에서 트랜스포머스 라이브러리를 개발한 엔지니어들이 직접 예제 코드를 설명하며 트랜스포머의 작동 원리와 이를 사용한 문제 해결법, 실제 애플리케이션 도입법까지 차근차근 소개한다. 나만의 트랜스포머를 훈련시키는 방법을 배우고 자연어 처리를 정복해보자.

목차

[목 차]

CHAPTER 1 트랜스포머 소개
_1.1 인코더-디코더 프레임워크
_1.2 어텐션 메커니즘
_1.3 NLP의 전이 학습
_1.4 허깅페이스 트랜스포머스
_1.5 트랜스포머 애플리케이션 둘러보기
__1.5.1 텍스트 분류
__1.5.2 개체명 인식
__1.5.3 질문 답변
__1.5.4 요약
__1.5.5 번역
__1.5.6 텍스트 생성
_1.6 허깅페이스 생태계
__1.6.1 허깅페이스 허브
__1.6.2 허깅페이스 토크나이저
__1.6.3 허깅페이스 데이터셋
__1.6.4 허깅페이스 액셀러레이트
_1.7 트랜스포머의 주요 도전 과제
_1.8 결론

CHAPTER 2 텍스트 분류
_2.1 데이터셋
__2.1.1 허깅페이스 데이터셋 처음 사용하기
__2.1.2 데이터셋에서 데이터프레임으로
__2.1.3 클래스 분포 살펴보기
__2.1.4 트윗 길이 확인
_2.2 텍스트에서 토큰으로
__2.2.1 문자 토큰화
__2.2.2 단어 토큰화
__2.2.3 부분단어 토큰화
__2.2.4 전체 데이터셋 토큰화하기
_2.3 텍스트 분류 모델 훈련하기
__2.3.1 트랜스포머를 특성 추출기로 사용하기
__2.3.2 트랜스포머 미세 튜닝하기
_2.4 결론

CHAPTER 3 트랜스포머 파헤치기
_3.1 트랜스포머 아키텍처
_3.2 인코더
__3.2.1 셀프 어텐션
__3.2.2 피드 포워드 층
__3.2.3 층 정규화 추가하기
__3.2.4 위치 임베딩
__3.2.5 분류 헤드 추가하기
_3.3 디코더
_3.4 트랜스포머 유니버스
__3.4.1 트랜스포머 가계도
__3.4.2 인코더 유형
__3.4.3 디코더 유형
__3.4.4 인코더-디코더 유형
_3.5 결론

CHAPTER 4 다중 언어 개체명 인식
_4.1 데이터셋
_4.2 다중 언어 트랜스포머
_4.3 XLM-R 토큰화
__4.3.1 토큰화 파이프라인
__4.3.2 SentencePiece 토크나이저
_4.4 개체명 인식을 위한 트랜스포머
_4.5 트랜스포머 모델 클래스
__4.5.1 바디와 헤드
__4.5.2 토큰 분류를 위한 사용자 정의 모델 만들기
__4.5.3 사용자 정의 모델 로드하기
_4.6 NER 작업을 위해 텍스트 토큰화하기
_4.7 성능 측정
_4.8 XLM-RoBERTa 미세 튜닝하기
_4.9 오류 분석
_4.10 교차 언어 전이
__4.10.1 제로 샷 전이가 유용할 때
__4.10.2 다국어에서 동시에 미세 튜닝하기
_4.11 모델 위젯 사용하기
_4.12 결론

CHAPTER 5 텍스트 생성
_5.1 일관성 있는 텍스트 생성의 어려움
_5.2 그리디 서치 디코딩
_5.3 빔 서치 디코딩
_5.4 샘플링 방법
_5.5 탑-k 및 뉴클리어스 샘플링
_5.6 어떤 디코딩 방법이 최선일까요?
_5.7 결론

CHAPTER 6 요약
_6.1 CNN/DailyMail 데이터셋
_6.2 텍스트 요약 파이프라인
__6.2.1 요약 기준 모델
__6.2.2 GPT-2
__6.2.3 T5
__6.2.4 BART
__6.2.5 PEGASUS
_6.3 요약 결과 비교하기
_6.4 생성된 텍스트 품질 평가하기
__6.4.1 BLEU
__6.4.2 ROUGE
_6.5 CNN/DailyMail 데이터셋에서 PEGASUS 평가하기
_6.6 요약 모델 훈련하기
__6.6.1 SAMSum에서 PEGASUS 평가하기
__6.6.2 PEGASUS 미세 튜닝하기
__6.6.3 대화 요약 생성하기
_6.7 결론

CHAPTER 7 질문 답변
_7.1 리뷰 기반 QA 시스템 구축하기
__7.1.1 데이터셋
__7.1.2 텍스트에서 답 추출하기
__7.1.3 헤이스택을 사용해 QA 파이프라인 구축하기
_7.2 QA 파이프라인 개선하기
__7.2.1 리트리버 평가하기
__7.2.2 리더 평가하기
__7.2.3 도메인 적응
__7.2.4 전체 QA 파이프라인 평가하기
_7.3 추출적 QA를 넘어서
_7.4 결론

CHAPTER 8 효율적인 트랜스포머 구축
_8.1 의도 탐지 예제
_8.2 벤치마크 클래스 만들기
_8.3 지식 정제로 모델 크기 줄이기
__8.3.1 미세 튜닝에서의 지식 정제
__8.3.2 사전 훈련에서의 지식 정제
__8.3.3 지식 정제 트레이너 만들기
__8.3.4 좋은 스튜던트 선택하기
__8.3.5 옵투나로 좋은 하이퍼파라미터 찾기
__8.3.6 정제 모델 벤치마크 수행하기
_8.4 양자화로 모델 속도 높이기
_8.5 양자화된 모델의 벤치마크 수행하기
_8.6 ONNX와 ONNX 런타임으로 추론 최적화하기
_8.7 가중치 가지치기로 희소한 모델 만들기
__8.7.1 심층 신경망의 희소성
__8.7.2 가중치 가지치기 방법
_8.8 결론

CHAPTER 9 레이블 부족 문제 다루기
_9.1 깃허브 이슈 태거 만들기
__9.1.1 데이터 다운로드하기
__9.1.2 데이터 준비하기
__9.1.3 훈련 세트 만들기
__9.1.4 훈련 슬라이스 만들기
_9.2 나이브 베이즈 모델 만들기
_9.3 레이블링된 데이터가 없는 경우
_9.4 레이블링된 데이터가 적은 경우
__9.4.1 데이터 증식
__9.4.2 임베딩을 룩업 테이블로 사용하기
__9.4.3 기본 트랜스포머 미세 튜닝하기
__9.4.4 프롬프트를 사용한 인-컨텍스트 학습과 퓨-샷 학습
_9.5 레이블링되지 않은 데이터 활용하기
__9.5.1 언어 모델 미세 튜닝하기
__9.5.2 분류기 미세 튜닝하기
__9.5.3 고급 방법
_9.6 결론

CHAPTER 10 대규모 데이터셋 수집하기
_10.1 대규모 데이터셋 수집하기
__10.1.1 대규모 말뭉치 구축의 어려움
__10.1.2 사용자 정의 코드 데이터셋 만들기
__10.1.3 대용량 데이터셋 다루기
__10.1.4 허깅페이스 허브에 데이터셋 추가하기
_10.2 토크나이저 구축하기
__10.2.1 토크나이저 모델
__10.2.2 토크나이저 성능 측정하기
__10.2.3 파이썬 코드를 위한 토크나이저
__10.2.4 토크나이저 훈련하기
__10.2.5 허브에 사용자 정의 토크나이저 저장하기
_10.3 밑바닥부터 모델을 훈련하기
__10.3.1 사전 훈련 목표
__10.3.2 모델 초기화
__10.3.3 데이터로더 구축하기
__10.3.4 훈련 루프 정의하기
__10.3.5 훈련 실행
_10.4 결과 및 분석
_10.5 결론

CHAPTER 11 향후 방향
_11.1 트랜스포머 확장
__11.1.1 규모의 법칙
__11.1.2 규모 확장의 어려움
__11.1.3 어텐션 플리즈!
__11.1.4 희소 어텐션
__11.1.5 선형 어텐션
_11.2 텍스트를 넘어서
__11.2.1 비전
__11.2.2 테이블
_11.3 멀티모달 트랜스포머
__11.3.1 스피치-투-텍스트
__11.3.2 비전과 텍스트
_11.4 다음 목적지는?

추천사
    • 김성훈 (업스테이지 대표)

      트랜스포머는 딥러닝 중 가장 중요한 모델들 중 하나이고, 허깅페이스는 이 트랜스포머를 쉽게 사용할 수 있도록 해줍니다. 이 두 가지는 딥러닝 관련 업무를 한다면 반드시 잘 알아야 하는 부분인데 박해선 님이 번역한 이 책을 통해 쉽게 이해할 수 있습니다. 특히 간략한 소개 후 2장에서 바로 텍스트 분류를 통한 핸즈온을 진행해 트랜스포머와 허깅페이스를 어떻게 사용하는지 이해할 수 있고, 이어지는 딥 다이브와 다국어 개체명 인식, 텍스트 생성과 요약, QA 등 많이 사용하는 NLP 문제는 깊은 지식을 전달합니다. 무엇보다도 박해선 님의 번역 문체는 심플하면서도 이해하기 쉬워서 읽는 내내 즐거웠습니다. 올해 딥러닝 기술 관련 한 권의 책을 추천한다면 바로 이 책을 주저없이 추천할 것입니다.

    • 김기현 (『김기현의 자연어 처리 딥러닝 캠프』 저자)

      트랜스포머는 현재 딥러닝 산학계를 휩쓸고 있는 가장 중요한 아키텍처입니다. 특히 자연어 처리에서는 피해 갈 수 없는 존재입니다. 이 책은 이렇게 중요한 트랜스포머를 자연어 처리에서 활용하는 방법을 다양한 태스크를 통해 자세히 다룹니다. 또한 자연어 처리에서 점점 표준이 되어가는 허깅페이스를 활용하므로, 실전에서의 활용도도 더욱 증대될 것입니다. 마지막으로 역자의 많은 딥러닝 분야 서적 집필 및 번역 경험에서 우러나오는 전달 방식은 원서 저자의 의도를 독자들에게 충분히 잘 전달해줍니다. 이 책을 통해 독자들은 자연어 처리 분야에서 트랜스포머를 활용하여 실전 능력을 키울 수 있을 것입니다.

    • 크리스토퍼 매닝 (스탠퍼드 대학 머신러닝 교수)

      최신 NLP에 필수인 트랜스포머스 라이브러리를 놀랍도록 명확하고 예리하게 설명하는 가이드입니다. 추천합니다!

    • 세바스찬 루더 (구글 딥마인드)

      사전 훈련된 트랜스포머 언어 모델은 NLP 세상에 폭풍을 몰고왔습니다. 트랜스포머스 같은 라이브러리는 이런 모델을 손쉽게 사용하도록 해줍니다. 최근 NLP의 성과를 활용할 방법을, 이 라이브러리를 만든 사람보다 더 잘 설명할 사람이 있을까요? 『트랜스포머를 활용한 자연어 처리』는 저자들이 오랜 연구와 엔지니어링에서 축적한 지식을 모은 역작입니다. 상당히 폭넓고 깊은 통찰력을 제공하며 최신 연구와 실전 애플리케이션을 절묘하게 융합한 보기 드문 책입니다. 또 다국어부터 효율적인 모델 개발까지, 질문 답변부터 텍스트 생성까지 현재 NLP에서 가장 주요한 방법과 애플리케이션에 대한 정보를 담았습니다. 각 장은 실전 고려사항과 모범 사례를 강조하고, 연구 기반 모델을 실전에 활용할 수 있게 풍부한 예제 코드를 바탕으로 설명합니다. NLP를 처음 배우는 사람이든 베테랑이든 누구나 이 책을 통해 분야 이해도를 높이고 최첨단 모델을 빠르게 개발하고 배포할 수 있을 것입니다.

    • 델립 라오 (『파이토치로 배우는 자연어 처리』 저자)

      트랜스포머는 NLP 작업을 변화시켰으며 허깅페이스는 트랜스포머를 제품과 연구에 활용하는 방법을 개척했습니다. 시의적절하게도 허깅페이스의 루이스 턴스톨Lewis Tunstall, 레안드로 폰 베라Leandro von Werra, 토마스 울프Thomas Wolf는 이 중요한 주제를 편리하고 실용적으로 소개하는 책을 썼습니다. 이 책은 트랜스포머 메커니즘의 개념을 기초부터 자세히 설명하고, 다양한 트랜스포머 모델과 트랜스포머 애플리케이션을 소개하고, 트랜스포머를 훈련하고 제품에 투입할 때 발생할 수 있는 실전 문제를 소개합니다. 이 책을 읽어보니 내용의 깊이와 명쾌한 그림 덕분에 트랜스포머, 특히 자연어 처리를 배우려는 모든 사람에게 최고의 자료가 되리라 확신합니다.

    • 루카 페로치 (액센추추어의 데이터 과학과 머신러닝 부관리자)

      복잡한 것이 단순해졌습니다. 이 책은 NLP, 트랜스포머와 이를 둘러싼 생태계를 다룬 보기 드문 귀중한 책입니다. 그저 유행어로 알고 있든, 이미 확실한 내용을 모두 알고 있든 관계없이 저자들은 유머와 과학적 엄격함, 풍부한 예제 코드를 사용해 여러분에게 이 최신 기술에 있는 은밀한 비밀을 소개합니다. 바로 사용할 수 있는 사전 훈련된 모델부터 밑바닥부터 만드는 사용자 정의 모델까지, 또한 성능에서부터 레이블이 없는 경우에까지, 저자들은 ML 엔지니어의 문제를 실용적으로 해결하고 최신 솔루션을 제공합니다. 이 책은 향후 수년 동안 현장에서 표준으로 자리매김할 것입니다.

출판사 서평

자연어 처리 애플리케이션을 만드는 큐브, 트랜스포머

이 책은 머신러닝 지식을 갖춘 엔지니어와 연구자를 대상으로 직접 모델을 구현하며 트랜스포머를 업무에 적용하는 실용적인 방법을 전달한다. 트랜스포머를 이용하는 데 필요한 기본적인 이론과 방법을 소개한 뒤, 다국어 텍스트의 개체명 인식(NER)을 비롯해 텍스트 생성, 텍스트 요약, 질문 답변(QA) 같은 목적에 맞는 다양한 자연어 처리 모델을 훈련해본다. 다양한 트랜스포머 모델에 표준화된 인터페이스를 제공하는 라이브러리인 허깅페이스 트랜스포머스를 개발한 팀의 안내를 따라 내게 필요한 모델을 구축해보자.

대상 독자
● 트랜스포머를 입맛에 맞게 조정하고 싶은 데이터 과학자와 머신러닝 엔지니어
● 자기만의 자연어 처리 애플리케이션을 만들고 싶은 개발자

주요 내용
● 텍스트 분류, 개체명 인식 등 NLP 작업을 위한 트랜스포머 모델을 빌드 및 디버깅, 최적화하는 방법
● 언어 간 전이 학습에 트랜스포머를 사용하는 방법
● 레이블링된 데이터가 부족한 상황에서 트랜스포머를 적용해 모델 성능을 높이는 방법
● 지식 정제와 양자화, 가지치기 같은 기술을 사용한 트랜스포머 모델 효율화 방법
● 대규모 트랜스포머 모델을 밑바닥부터 훈련하고 여러 GPU 및 분산 환경으로 확장하는 방법

저자 소개
저자 : 루이스턴스톨,레안드로폰베라,토마스울프
    루이스 턴스톨(Lewis Tunstall)
    허깅페이스의 머신러닝 엔지니어입니다. 스타트업과 기업을 위해 NLP, 위상 기반 데이터 분석(topological data analysis), 시계열 분야의 머신러닝 애플리케이션을 만들었습니다. 이론 물리학으로 박사 학위를 받고 호주, 미국, 스위스에서 연구를 수행했습니다. 현재는 NLP 커뮤니티를 위한 도구를 개발하며 이를 효율적으로 사용하는 방법을 가르치는 일에 열중합니다.

    레안드로 폰 베라(Leandro von Werra)
    허깅페이스 오픈소스 팀의 머신러닝 엔지니어입니다. 산업 분야에서 NLP 프로젝트를 제품화하는 데 머신러닝 스택 전반에 걸쳐 다년의 경험을 쌓았으며, 트랜스포머와 강화 학습을 결합해 인기 있는 파이썬 라이브러리 TRL을 만들었습니다.

    토마스 울프(Thomas Wolf)
    허깅페이스의 최고 과학 책임자이자 공동 설립자입니다. 그가 이끄는 팀은 NLP 연구를 촉진하고 민주화하는 임무를 수행합니다. 허깅페이스를 공동 설립하기 전에 물리학 박사 학위를 취득하고 나중에 법학 학위를 받았습니다. 한때 물리학 연구원과 유럽 변리사로 일했습니다.
    도서리뷰

    이 책을 읽고 어떤 느낌을 받으셨나요?
    리뷰를 남기고 다른 독자들과 함께 공유해보세요.

    안내 열기구매(배송/수령완료) 후 리뷰를 작성하시면 적립금 300원을 드려요!

    등록된 리뷰가 없습니다

    첫번째 리뷰어가 되어주세요

    교환/반품/환불
    반품/교환방법
    • 마이페이지 > 주문관리 > 주문/배송조회 > 주문조회 후  [1:1상담신청]  또는 고객센터 (1544-9020)
    • ※ 오픈마켓, 해외배송 주문상품 문의 시 [1:1상담신청] 또는 고객센터 (1544-9020)
    반품/교환 가능기간
    • 변심반품의 경우 수령 후 7일 이내
    • 상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내
    반품/교환비용
    • 단순변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
    • 해외직배송 도서 구매 후 단순변심에 의한 취소 및 반품 시 도서판매가의 20% 수수료 부과
    반품/교환 불가 사유
    • 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우
    • 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우
      예) 만화, 잡지, 수험서 및 문제집류
    • 복제가 가능한 상품 등의 포장을 훼손한 경우
      예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집
    • 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우
    • 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우
    • 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우
    • 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우
    상품 품절
    • 공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.
    소비자 피해보상
    환불지연에 따른 배상
    • 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁 해결 기준 (공정거래위원회 고시)에 준하여 처리됨
    • 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함

     매일 100% 당첨!
     최대 3천원 적립 🪙

    매장에서 사용할 수 있는 바코드가 있어요!