C++와 CUDA C로 구현하는 딥러닝 알고리즘 VOL.2(에이콘 데이터 과학 시리즈)

전체 3권으로 이뤄지는 "C++과 CUDA C로 구현하는 딥러닝 신경망" 시리즈의 두 번째 책이다. 인코더와 디코더 구조를 기반으로 하면서 입력 정보를 다시 복원하는 구조의 오토인코더는 GAN 모델의 발전으로 인해 점차 그 활용도와 중요성이 커지고 있다. 1권에서 다뤘던 내용을 다시 언급하므로 1권의 내용을 충분히 숙지해주길 바란다. 먼저 기본적인 신호 처리 수준에서의 몰렛 웨이블릿 개념과 이를 이미지 처리로 확장했을 때의 푸리에 변환 개념 등을 살펴본다. 그다음 복소수 정의역에서의 오토인코딩 개념을 설명한다. 그리고 이러한 내용들을 복소수 영역에서의 신경망으로 확장해 활성화 함수와 그레디언트, SoftMax 레이어 등을 계산하는 과정으로 나눠 상세하게 살펴본다. 처음엔 단일 스레드 기반의 구현 방법부터 시작해서 마지막엔 멀티스레드 기반의 구현 방법으로 확장시킨다. 3장에서는 2장에서 각 레이어별로 구현한 내용을 GPGPU를 활용할 수 있도록 CUDA C로 구현하는 내용을 다룬다. 마지막 4장에서는 저자가 제공하는 DEEP 프로그램의 메뉴얼을 소개하면서, 사용자가 구현 결과를 미리 확인하면서 각 기능들의 실행 결과물을 쉽게 확인할 수 있도록 도와준다.

1장. 소개 2장. 내장된 클래스 레이블 __내장된 레이블들을 학습하는 코드 __케이스 분류 __클래스 조건적인 생성적 샘플링 3장. 신호 전처리 __최소 변환 ____생성적 샘플들의 차이값 출력 __함수의 경로 __이동 윈도우에서의 푸리에 계수 __몰렛 웨이블릿 ____주기, 너비, 지연(Lag) ____몰렛 웨이블릿 구현 코드 4장. 이미지 전처리 __2차원 공간에서의 푸리에 변환 ____2차원 공간에서의 데이터 윈도우 ____이미지의 푸리에 변환 구현 코드 ____푸리에 변환의 생성적 샘플 출력 5장. 오토인코딩 __피드포워드 신경망에 대한 기본적인 수학 개념 __오토인코더를 통한 탐욕적 훈련 __복소수 개수에 대한 리뷰 ____복소수 정의역에서의 고속 내적 연산 ____복소수 정의역에서의 고유 값 분해 __복소수 정의역의 활성화 ____활성화 함수의 도함수 ____로지스틱 활성화 함수와 도함수 __그레디언트 계산 ____순수 실수 및 SoftMax 출력 오차 ____은닉층 가중치의 그레디언트 __그레디언트 계산 구현 코드 ____전체 신경망과 도함수 계산 ____그레디언트 계산 __멀티스레드 기반의 그레디언트 계산 __CUDA 그레디언트 계산 ____전체 알고리즘 ____디바이스 초기화 ____호스트에서 디바이스로 가중치 복사 ____활성화와 활성화 도함수 ____출력 활성화 ____SoftMax 출력 변환 ____출력 델타 ____SoftMax 출력의 델타 ____출력 그레디언트 ____첫 번째 은닉층의 그레디언트 ____중간 은닉층의 그레디언트 ____평균 제곱 오차 ____분류 작업에서 평가 기준으로 사용하는 로그 발생 가능 확률 ____분석 6장. DEEP 사용 매뉴얼 __메뉴 옵션 ____파일 메뉴 옵션 ____테스트 메뉴 옵션 ____화면 출력 메뉴 옵션 __데이터베이스 읽어들이기 __시계열 데이터 읽어들이기(기본) __시계열 데이터 읽어들이기(경로) __시계열 데이터 읽어들이기(푸리에) __시계열 데이터 읽어들이기(Morlet) __MNIST 이미지 읽어들이기 __MNIST 이미지 읽어들이기(푸리에) __MNIST 레이블 읽어들이기 __활성화된 파일에 쓰기 __모든 데이터 삭제 __모델 아키텍처 __데이터베이스 입력과 목표치 __RBM 훈련 파라미터 __감독 훈련된 훈련 파라미터 __오토인코딩 훈련 파라미터 __훈련 __테스트 __교차 검증 __분석 __수용 영역 __생성적 샘플 ____내장된 모델에서 추출한 샘플 ____경로 시계열 데이터로에서 추출한 샘플 __DEEP.LOG 파일 ____예측 성능 측정