따라하면서 배우는 유니티 ML-Agents(데이터사이언스시리즈 23)

연구자와 개발자는 유니티 머신러닝 에이전트와 유니티 에디터를 사용해 게임과 시뮬레이션을 만들 수 있다. 간편하게 사용할 수 있는 파이썬 API와 유니티 에디터를 연동해 지능형 에이전트를 머신러닝 기법으로 훈련할 수 있는 환경을 형성할 수 있다. 이 책에서는 강화학습 및 Q학습의 기본기를 다지고, 여러 에이전트가 활동하는 생태계를 구성하고 서로 협력하거나 경쟁하는 심층 재귀형 Q 신경망을 장착한 에이전트들을 작성하는 과정을 알려 준다. 강화학습의 기본기를 다지는 일부터 문제를 푸는 데 응용하는 방법, 나아가 파이썬과 케라스 및 텐서플로를 사용해 스스로 학습하는 고급 신경망을 구축하는 방법도 설명한다. 이를 바탕으로 A3C 학습, 모방 학습 및 커리큘럼 학습 모델을 사용해 신경망을 훈련하는 혁신적인 방법을 배우게 된다. 이 책을 다 익히고 나면 여러분은 여러 에이전트들이 서로 협력하고 경쟁하는 생태계를 구축하는 식으로 더 복잡한 환경을 구성하는 방법을 알 수 있을 것이다.

▣ 01장: 머신러닝 및 ML-Agents 소개 머신러닝 __훈련 모델 __머신러닝 예제 __게임에 사용되는 머신러닝 ML-Agents 예제 실행 __에이전트 브레인 설정 환경 만들기 __스크립트 이름 바꾸기 Academy, Agent, Brain 컴포넌트 __Academy 설정 __Agent 설정 __Brain 설정 연습문제 요약 ▣ 02장: 밴딧과 강화학습 강화학습 __에이전트 구성 상황별 밴딧과 상태 __상황별 밴딧 만들기 __ContextualDecision 스크립트 만들기 __에이전트 업데이트 탐색과 이용 __SimpleDecision을 사용한 의사결정 MDP와 벨만 방정식 Q 학습 및 연결 에이전트 __Q 학습 ConnectedDecision 스크립트 살펴보기 연습문제 요약 ▣ 03장: 파이썬을 이용한 심층강화학습 파이썬과 관련 도구 설치 __설치 __설치 테스트 ML-Agent 외부 브레인 __환경 실행 신경망 기초 __어쨌든 신경망이 하는 일은 무엇인가? 심층 Q 학습 __심층 신경망 구축 __모델 훈련 __텐서 탐색 근위 정책 최적화 __PPO 구현 __텐서보드를 사용한 훈련 통계 이해 연습문제 요약 ▣ 04장: 더 깊은 딥러닝 속으로 에이전트 훈련 문제 __훈련이 잘못되었을 때 합성곱 신경망 경험 재연 __경험을 바탕으로 빌드하기 부분 관측성, 메모리, 순환 신경망 __부분 관측성 __기억과 순환 신경망 비동기 연기자-비평가 훈련 __다중 비동기 에이전트 훈련 연습문제 요약 ▣ 05장: 게임하기 다중 에이전트 환경 적대적 자체 플레이 __내부 브레인 사용 __훈련된 브레인을 내부적으로 사용하기 결정 및 주문형 결정 __통통 튀는 바나나 모방 학습 __복제 행동 훈련기 설정 커리큘럼 학습 연습문제 요약 ▣ 06장: 다시 만들어 보는 테라리엄 - 다중 에이전트 생태계 테라리엄이란? __에이전트 생태계 구축 __유니티 애셋 가져오기 __환경 구축 기본 테라리엄: 식물과 초식 동물 __구조를 기다리는 초식 동물 __초식 동물 구축 __초식 동물 훈련 육식 동물: 사냥꾼 __육식 동물 구축 __육식 동물 훈련 다음 단계들 연습문제 요약