빅데이터 분석을 위한 스칼라와 스파크

스파크를 이용해 데이터 분석 방법을 배우려는 사람에게 매우 유용한 책이다. 가장 먼저 스칼라를 소개하고, 스칼라 애플리케이션 개발에 필요한 객체지향 개념과 함수형 프로그래밍 개념을 설명한다. 스파크에 초점을 맞춰 RDD와 데이터 프레임을 사용한 기본 추상화를 다룬다. 그 다음 스파크 SQL, GraphX, 스파크 구조화 스트리밍을 사용해 구조화된 데이터와 구조화되지 않은 데이터를 분석하고 모니터링, 설정, 디버깅, 테스팅, 배포와 같은 고급 주제를 살펴본다. 또한 SparkR 및 PySpark API를 사용한 스파크 애플리케이션을 개발하는 방법, 아파치 제플린(Zeppelin)을 사용한 대화식 데이터 분석, Alluxio를 함께 사용해 인메모리 데이터를 처리하는 방법을 다룬다. 이 책을 다 살펴본 후, 스파크를 완벽하게 이해하고 풀 스택 데이터 분석을 수행할 수 있을 것이다. 이 책은 최신 2.3.2 버전을 기준으로 작성됐다. 기존의 원서에서 제공하는 코드의 오타와 호환성을 수정한 옮긴이의 github 저장소를 제공한다. 이 책에서 다루는 내용 ■ 스칼라의 객체지향 개념과 함수형 프로그래밍 개념 이해 ■ 스칼라 컬렉션 API 이해 ■ 스파크의 핵심 추상화를 알기 위해 RDD와 데이터 프레임으로 작업하기 ■ 스파크 SQL과 GraphX를 사용해 구조 데이터와 구조화되지 않은 데이터 분석 ■ 스파크 구조화 스트리밍을 사용해 확장 가능하고 내결함성 있는 스트리밍 애플리케이션 개발 ■ 스파크 MLlib과 스파크 ML에서 많이 사용되는 알고리즘으로 예측 모델을 구축할 수 있는 분류, 회귀 분석, 차원 감소, 추천 시스템과 같은 머신 러닝 모범 사례 ■ 방대한 양의 데이터를 클러스터링하는 클러스터링 모델 구축 ■ 스파크 애플리케이션 튜닝, 디버깅, 모니터링 이해 ■ 실제 독립형(Standalone), 메소스(Mesos), 얀(YARN), 쿠버네티스(Kubernetes) 모드의 클러스터에 스파크 애플리케이션 배포 이 책의 대상 독자 스파크를 이용해 데이터 분석 방법을 배우려는 사람에게 매우 유용한 책이다. 스파크나 스칼라에 대한 지식은 없더라도 이전 프로그래밍 경험(특히 다른JVM 언어)이 있다면 스파크나 스칼라에 대한 개념을 이해하는 데 매우 유용하다. 스칼라는 지난 몇 년 동안 특히 데이터 과학과 분석 분야에서 꾸준히 증가하고 있다. 스파크는 스칼라로 작성됐고 분석 분야에서 널리 사용되고 있다. 이 책은 빅데이터를 잘 다룰 수 있는 스파크를 설명한다.

1장 스칼라 소개 스칼라의 역사와 목적 플랫폼과 편집기 스칼라 설치와 설정 자바 설치 윈도우 맥 OS 스칼라: 확장 가능한 언어 스칼라는 객체지향 스칼라는 함수형 스칼라는 정적 타입 지원 스칼라는 JVM에서 동작 스칼라는 자바 코드를 실행 가능 스칼라는 동시 및 동기화 처리 수행 가능 자바 프로그래머를 위한 스칼라 모든 타입은 객체 타입 추론 스칼라 REPL 중첩 함수 import문 연산자를 메소드로 사용 메소드와 파라미터 목록 메소드 안의 메소드 스칼라 생성자 정적 메소드 대신 객체 트레이트 초보자를 위한 스칼라 처음 작성하는 스칼라 코드 대화형으로 스칼라 실행 컴파일 요약 2장 객체지향 언어, 스칼라 스칼라 변수 참조와 값 불변성 스칼라의 데이터 타입 스칼라의 메소드, 클래스, 객체 스칼라의 메소드 스칼라의 클래스 스칼라의 객체 패키지와 패키지 객체 자바 상호운용성 패턴 매칭 스칼라의 암시 스칼라의 제네릭 제네릭 클래스의 정의 SBT와 기타 빌드 시스템 SBT로 빌드 이클립스에 메이븐 사용 이클립스에서 그래들 사용 요약 3장 함수형 프로그래밍 개념 함수형 프로그래밍 소개 함수형 프로그래밍의 장점 데이터 과학자를 위한 함수형 스칼라 스파크를 공부하는 데 와 FP 스칼라를 설명하는 이유 스파크인 이유 스칼라와 스파크 프로그래밍 모델 스칼라와 스파크 생태계 순수 함수와 고차 함수 순수 함수 익명 함수 고차 함수 함수를 리턴 값으로 사용 고차 함수 사용 함수형 스칼라의 에러 핸들링 스칼라의 실패와 예외 예외 던지기 try와 catch를 사용한 예외 처리 finally Either 생성 Future 하나의 태스크를 실행하고 대기 함수형 프로그래밍과 데이터 가변성 요약 4장 컬렉션 API 스칼라 컬렉션 API 타입과 계층 Traversable Iterable Seq, LinearSeq, IndexedSeq 가변과 불변 배열 리스트 셋 튜플 맵 Option exists forall filter map take groupBy init drop takeWhile dropWhile flatMap 성능 특징 컬렉션 객체의 성능 특징 컬렉션 객체가 사용하는 메모리 사용량 자바 상호 운영성 스칼라 암시 사용 스칼라의 암시적 변환 요약 5장 스파크로 빅데이터 다루기 데이터 분석 소개 데이터 분석 프로세스 내부 빅데이터 소개 빅데이터의 4V 하둡을 이용한 분산 컴퓨팅 하둡 분산 파일 시스템(HDFS) 맵리듀스 프레임워크 아파치 스파크 스파크 코어 스파크 SQL 스파크 스트리밍 스파크 GraphX 스파크 ML PySpark SparkR 요약 6장 스파크로 REPL과 RDD 작업 스파크에 대해 깊이 살펴보기 아파치 스파크 설치 스파크 독립형 얀 기반의 스파크 메소스 기반의 스파크 쿠버네티스 기반 스파크 RDD 소개 RDD 생성 스파크 셸의 사용 트랜스포메이션과 액션 트랜스포메이션 액션 캐싱 데이터 로드와 저장 데이터 로드 RDD 저장 요약 7장 특수 RDD 연산 RDD 타입 쌍 RDD DoubleRDD SequenceFileRDD CoGroupedRDD ShuffledRDD UnionRDD HadoopRDD NewHadoopRDD 집계 groupByKey reduceByKey aggregateByKey combineByKey groupByKey, reduceByKey, combineByKey, aggregateByKey의 비교 파티셔닝과 셔플링 파티셔너 셔플링 브로드캐스트 변수 브로드캐스트 변수 생성 브로드캐스트 변수 정리 브로드캐스트 정리 누산기 요약 8장 스파크 SQL 스파크 SQL과 데이터 프레임 데이터 프레임 API와 SQL API 피벗 필터 사용자 정의 함수(UDF) 데이터의 스키마 구조 데이터셋 로드와 저장 집계 집계 함수 groupBy rollup cube 윈도우 함수 조인 조인의 내부 동작 브로드캐스트 조인 조인 타입 조인의 성능 결과 요약 9장 스파크 스트리밍 스트리밍에 대한 간략한 소개 최소 한 번 처리 방식 최대 한 번 처리 방식 정확히 한 번 처리 스파크 스트리밍 StreamingContext 입력 스트림 binaryRecordsStream queueStream textFileStream 예 twitterStream 예 불연속 스트림 트랜스포메이션 윈도우 연산 상태 저장/상태 비저장 트랜스포메이션 상태 비저장 트랜스포메이션 상태 저장 트랜스포메이션 체크 포인팅 메타데이터 체크 포인팅 데이터 체크포인팅 드라이버 실패 복구 스트리밍 플랫폼과의 상호운용성(아파치 카프카) 수신기 기반의 접근 방식 다이렉트 스트림 구조화 스트리밍 구조화 스트리밍 이벤트 시간과 지연 데이터 처리 내결함성 의미 체계 요약 10장 GraphX 그래프 이론에 대한 간략한 소개 GraphX VertexRDD와 EdgeRDD VertexRDD EdgeRDD 그래프 연산자 filter mapValues aggregateMessages triangleCount Pregel API 연결된 컴포넌트 여행하는 세일즈맨 문제 ShortestPaths 페이지랭크 요약 11장 머신 러닝 학습: 스파크 MLlib와 ML 머신 러닝 소개 일반적인 머신 러닝 워크플로우 머신 러닝 작업 스파크 머신 러닝 API 스파크 머신 러닝 라이브러리 피처 추출과 트랜스포메이션 CountVectorizer 토큰화 StopWordsRemover StringIndexer OneHotEncoder 스파크 ML 파이프라인 간단한 파이프라인 생성 비지도 머신 러닝 차원 축소 PCA 이진 및 다중 클래스 분류 성능 메트릭 로지스틱 회귀 분석을 이용한 다중 클래스 분류 랜덤 포레스트를 사용해 분류 정확도 향상 요약 12장 고급 머신 러닝 모범 사례 머신 러닝 모범 사례 오버피팅과 언더피팅에 주의 스파크 MLlib과 ML에 집중 애플리케이션에 적합한 알고리즘 선택 알고리즘을 선택할 때 고려해야 할 사항 알고리즘을 선택할 때 데이터를 검사 ML 모델의 하이퍼파라미터 튜닝 하이퍼파라미터 튜닝 그리드 검색 파라미터 튜닝 교차 검증 신용 위험 분석: 하이퍼파라미터 튜닝 예 스파크를 사용한 추천 시스템 스파크를 이용한 모델 기반 추천 주제 모델링: 텍스트 클러스터링에서 모범 사례 LDA 동작 방법 스파크 MLlib를 이용한 주제 모델링 요약