빅데이터 실무 기술 가이드

데이터의 폭발적인 증가로 빅데이터의 분산처리 및 저장 기술은 최근 들어 가장 중요한 이슈로 떠올랐다. 빅데이터를 활용하기 위해서는 데이터의 수집 처리 저장 분석 시각화까지의 기술이 필요하다. 한국데이터베이스진흥원의 빅데이터 실무 기술 가이드는 이러한 빅데이터에 대한 일련의 과정을 일목요연하게 잘 정리한 실무용 기술 가이드북이다. 이 책을 통해 국내 빅데이터 전문가 양성과 빅데이터 산업의 발전을 기대해 본다. - 백두권 (고려대학교 교수 / 도산아카데미 원장) 빅데이터에서 노이즈를 제거하고 숨겨진 패턴을 발견하는 일은 분명 엑셀로 그래프를 그리는 것보다는 대단히 어렵고 복잡하며, 다양한 경험과 기술을 필요로 하는 일종의 기술적 종합 예술이다. 그간 빅데이터와 관련한 다양한 개념서 또는 교양서 같은 것들이 있었지만 현업에 도움이 될만한 기술적 실무서가 집대성된 적은 없었던 것 같다. 이 책은 그런 의미에서 단순한 기술 가이드 이상의 역할을 하리라 기대가 된다. 데이터의 수집, 저장에서 분석과 운영관리에 이르기까지 빅데이터 엔지니어를 위한 교과서 역할을 하리라 기대가 되며 편중되지 않은 기술적 큰 그림을 그릴 수 있도록 돕는 지침서가 될 것이다. - 이경일(솔트룩스/대표이사) 빅데이터에 대해 관심은 있지만 한번도 실전을 겪어보지 않은 사람이라면, 빅데이터를 연구해 보고싶어도 어떤 분야가 있는지, 어떻게 무엇부터 시작해야 할지 막막할 수 있다. 이 책은 빅데이터의 여러 구성 분야를 데이터 수집으로부터 분석에 이르기까지 총괄하여, 대표적 소프트웨어를 간단한 설명과 사용례 중심으로 소개하고 있어, 관련 기술을 익히는 데 있어 시작과 준비로서 도움이 될 것이다. - 권대석(클루닉스/대표이사) 빅데이터 영역은 너무 넓어서 다양한 영역에서의 전문가를 필요로 합니다. 개별 영역 실무자를 위한 서적들이 종종 있었지만, ‘빅데이터 실무 기술 가이드’는 빅데이터 전 영역에서의 실무자들에게 필요한 심도있는 내용을 전달하고 있습니다. 데이터 사이언티스트는 특정 영역에서의 전문성도 중요하지만 다양한 영역과의 연결성도 중요하게 고려해야 하는 만큼 향후 빅데이터 전문가로 성장하고자 하는 분들에게 중요한 디딤돌이 될 수 있을 것으로 기대합니다. - 이종석(신한카드 BigData 센터 /본부장)

과목Ⅰ데이터 수집 제1장 데이터수집의 이해 제1절 데이터 수집 개요 제2절 수집 데이터의 분류 제3절 데이터 수집절차 제4절 데이터 수집방법 및 기술 연습문제 제2장 데이터수집 실무 제1절 로그 데이터 수집 제2절 관계형 데이터베이스 수집 제3절 웹 크롤링 제4절 오픈 API 수집방법(소셜 데이터 수집) 연습문제 과목 Ⅱ 데이터 저장 제1장 분산파일시스템 제1절 개요 제2절 하둡 아키텍처 제3절 하둡 설치 제4절 하둡 클라이언트 제5절 하둡 WebHDFS 서비스 연습문제 제2장 분산데이터베이스(NoSQL) 제1절 NoSQL 등장 배경 제2절 NoSQL 범주 제3절 Apache HBase 제4절 MongoDB 제3장 인메모리 데이터 저장 제1절 레디스 개발 환경의 이해 제2절 레디스 성능 개선 제3절 레디스 운영관리 연습문제 제4장 Oozie 제1절 Oozie 개요 및 설치 제2절 설정파일의 구성과 작업순서 제3절 Oozie 실습 연습문제 과목 Ⅲ 데이터 처리 제1장 분산병렬배치처리 제1절 개요 제2절 맵리듀스 개발환경의 이해 제3절 맵리듀스 실습 제4절 맵리듀스 튜닝 제5절 아파치 하둡 YARN 연습문제 제2장 SQL On Hadoop 제1절 SQL-On-Hadoop 제2절 하이브 제3절 타조 제4절 샤크 소개와 아키텍처 연습문제 제3장 스트리밍 데이터 처리 제1절 스톰 제2절 스파크 프로그래밍과 스파크 스트리밍 연습문제 과목 Ⅳ 데이터 분석 제1장 기계학습 제1절 기계학습과 데이터 마이닝 제2절 머하웃 제3절 Spark MLlib 연습문제 제2장 통계분석 제1절 기초통계 제2절 다변량 분석 제3절 R에서의 처리성능 개선 제4절 R에서 맵리듀스 구현 연습문제 주요 용어 과목 Ⅴ 데이터 운영관리 제1장 분석시스템관리 제1절 분석 시스템 성능, 장애분석 및 운영 제2절 거버넌스 체계 수립 및 운영 제3절 업무 처리 프로세스 수립 및 운영 연습문제 제2장 용량/비용관리 제1절 분석 시스템 용량 계획 제2절 관리 도구 및 운영비용 계획 연습문제 제3장 보안관리 제1절 계정 및 권한 관리 제2절 로그 분석 및 탐지 연습문제 [부록] 연습문제 정답 및 해설