대용량 데이터 분석 및 처리를 위한 Hadoop & NoSQL

콘텐츠의 품질은 “빅데이터를 가공하는 방식”에 전적으로 의존한다. 인터넷 기술이 급속도로 발전함에 따라 콘텐츠를 구성하는 데이터의 양이 기하급수적으로 증가하는 “빅데이터” 시대다. 유튜브나 넷플릭스 등은 이미 수년 전부터 고객의 성향을 찾아내어 적절히 추천하고 필터링하는 작업을 거쳐 맞춤형 서비스를 하고 있다. 클라우드 컴퓨팅의 가장 큰 도전은 자원의 효율적인 분배 및 안정성 보장이다. 본서에서는 하둡 뿐만 아니라 실질적인 빅데이터 분석에 쓰이는 전문 도구들을 심도 있게 다루고 있으며, 예제와 그림을 통해 쉽게 접근할 수 있도록 하였다. “생생한 국내 구축 사례”를 통해 우리 환경에 맞는 빅데이터 기술의 노하우를 배운다! 최근 빅데이터의 ‘실시간성’ 이슈가 급격하게 증가함과 동시에 페이스북(Facebook)을 비롯한 많은 선도 기업들이 HBase를 채택하여 큰 관심을 받고 있다. 간단한 예제를 통하여 HBase를 설치하고 운영하는 방법뿐만 아니라, HBase의 한계를 보완하기 위한 NHN과 KT 클라우드웨어 주도로 이뤄진 국내 오픈소스 프로젝트인 DuoBase내의 HBase까지 속속들이 파헤쳐 본다.

Chapter 1 | 하둡 소개와 클러스터 구축하기 1. 하둡 소개 _클라우드 컴퓨팅과 하둡 _하둡의 역사 2. 하둡 구축 사례 _해외 구축 사례 _국내 구축 사례 3. 하둡 클러스터 구축하기 _분산 파일 시스템 _하둡 클러스터 구축을 위한 준비사항 _분산 모조형(Pseudo-distribution) 구축하기 _분산형(Cluster) 구축하기 4. 하둡 인터페이스 _하둡 분산 파일 시스템 명령어 인터페이스 5. 요약 Chapter 2 | 하둡 분산 처리 파일 시스템 1. 하둡 분산 파일 시스템의 설계 2. 하둡 분산 파일 시스템의 전체 구조 살펴보기 3. 네임노드의 역할 _메타데이터 관리 _메타데이터의 안전한 보관 - Edits와 FsImage 파일과 세컨더리 네임노드 _데이터노드 관리 4. 데이터노드의 역할 _블록 관리 _데이터 복제와 과정 _데이터노드 추가 5. 요약 Chapter 3 | 빅데이터와 맵리듀스 1. 빅데이터의 개요 _빅데이터란? _빅데이터의 가치 창출 2. 맵리듀스(MapReduce) _맵리듀스 예제 : 단어 빈도수 세기(Word Count) _맵리듀스 소스 코드 : 단어 빈도수 세기(Word Count) - Java 기반 _맵리듀스 소스 코드 : 단어 빈도수 세기(Word Count) - Ruby 언어 기반 3. 맵리듀스의 구조 _예제로 살펴본 맵리듀스 구조 _구조적 관점에서의 맵리듀스 최적화 방법 4. 맵리듀스의 고장 감내성(Fault Tolerance) 5. 맵리듀스 프로그래밍 _검색 _정렬 _역 인덱스 _가장 인기 있는 단어 찾기 _숫자 합산 6. 하둡 구축하기 : 맵리듀스 예제로 살펴보기 _단어 빈도수 세기 맵리듀스 프로그래밍 _맵리듀스 - 사용자 인터페이스 7. 요약 Chapter 4 | 하둡 버전별 특징 및 진화 1. 하둡 0.1x 버전의 API 2. 하둡의 덧붙이기(append) 기능 3. 하둡의 보안 관련 기능 4. 하둡 2.0.0 alpha _하둡 2.0.0 alpha 설치 _하둡 분산 파일 시스템의 변경 _차세대 맵리듀스 프레임워크 : YARN 5. 요약 Chapter 5 | 클라우드 컴퓨팅과 하둡 1. 대규모 하둡 클러스터 구축과 사례 2. 클라우드 인프라 서비스의 등장 _아마존 클라우드 서비스 3. 아마존 EC2에 하둡 클러스터 구축하기 _Apache Whirr란? _하둡 클러스터 구축하기 4. 요약 Chapter 6 | 아마존 Elastic MapReduce 200% 활용하기 1. 아마존 EMR(Elastic MapReduce) 활용하기 _아마존 EMR이란? _아마존 EMR의 구조 _아마존 EMR의 특징 _아마존 EMR의 잡 플로우와 스텝 _아마존 EMR을 사용 전 알아야 할 사항 _아마존 EMR 실전 활용 2. 요약 Chapter 7 | 하둡을 이용한 빅데이터 분석 1. 하둡을 이용한 기계 학습(Mahout) _설치 및 컴파일 _K-means 군집 알고리즘 _벡터 유사도를 이용한 협업적 필터링 _요약 2. 하둡을 이용한 통계 분석 RHive(R and Hive) _R 설치 및 활용 _Hive 설치 및 활용 _RHive 설치 및 활용 _요약 3. 하둡을 이용한 그래프 데이터 처리 Giraphi 4. 요약 Chapter 8 | 데이터에서의 DBMS, NoSQL 1. NoSQL 등장 배경 : 빅데이터 그리고 Web 2.0 _Web 2.0에 의한 빅데이터의 등장 _빅데이터에 의한 NoSQL의 등장 _빅데이터와 Web 2.0에 적합한 데이터 스토어로서의 NoSQL 2. NoSQL 정의 및 종류별 특징 3. NoSQL 데이터 모델 개요 및 분류 4. NoSQL 데이터 모델링 _NoSQL 데이터 모델링 기본 개념 _일반적인 NoSQL 모델링 기법 5. 주요 NoSQL의 비교 및 선택 6. 요약 Chapter 9 | HBase : 하둡에서의 NoSQL 1. 하둡 생태계에서의 HBaseB 2. HBase 소개 3. HBase 데이터 모델 _맵(map) _지속성(persistent) _분산(distributed) _정렬(sorted) _다차원(multidimensional) _스파스(sparse) 4. HBase 스키마 5. HBase 구조 6. HBase 구축 및 운영 7. HBase의 확장 - DuoBase 내의 HBase B 8. HBase의 사용자 정의 인덱스 _HBase 사용자 정의 인덱스 - HFile 포맷의 확장 _HBase 사용자 정의 인덱스 - 리전의 확장 _HBase 사용자 정의 인덱스 - 멤스토어의 확장 9. 요약