아파치 카프카로 데이터 스트리밍 애플리케이션 제작

아파치 카프카의 기초 개념 스트리밍 애플리케이션의 기본 구성 스파크, 스톰, 헤론을 사용한 효과적인 카프카 스트리밍 애플리케이션 설계 메시징 시스템에 대한 빠른 처리 속도와 고성능, 고가용성 지원의 중요성 이해 카프카 애플리케이션 구축 과정에서 필요한 효과적인 용량 계획 수립 모범적인 보안 적용 사례에 대한 이해와 구현

1장. 메시징 시스템 소개 __메시징 시스템의 기본원칙 __메시징 시스템의 이해 __지점 간 메시징 시스템 __게시-구독 메시징 시스템 __AMQP __빅데이터 스트리밍 애플리케이션에 메시징 시스템 사용하기 __요약 2장. 카프카 소개, 분산 메시징 플랫폼 __카프카의 유래 __카프카의 구조 __메시지 토픽 __메시지 파티션 __복제와 복제 로그 __메시지 프로듀서 __메시지 컨슈머 __주키퍼의 역할 __요약 3장. 카프카 프로듀서 __카프카 프로듀서의 내부 구조 __카프카 프로듀서 API ____프로듀서 객체와 ProducerRecord 객체 ____사용자 정의 파티션 ____추가 프로듀서 설정 __자바 카프카 프로듀서 예제 __일반적인 메시지 게시 유형 __카프카 프로듀서 모범 사례 __요약 4장. 카프카 컨슈머 __카프카 컨슈머 내부 구조 ____카프카 컨슈머의 역할 이해 __카프카 컨슈머 API ____컨슈머 설정 ____구독과 폴링 ____커밋 처리와 폴링 ____추가 설정 __자바 카프카 컨슈머 __스칼라 카프카 컨슈머 ____리밸런스 리스너 __일반적인 메시지 사용 유형 __모범 사례 ____요약 5장. 카프카 스파크 스트리밍 애플리케이션 개발 __스파크 소개 ____스파크의 구조 ____스파크의 핵심요소 ____스파크 운영 환경 __스파크 스트리밍 ____수신자 기반 통합 방식 __직접 접근 방식 __로그 처리 활용 사례 - 사기 IP 감지 ____메이븐 __프로듀서 ____속성 리더 요약 6장. 카프카 스톰 애플리케이션 개발 __아파치 스톰 소개 ____스톰 클러스터 구조 ____스톰 애플리케이션의 개념 __아파치 헤론 소개 ____헤론의 구조 __아파치 카프카와 아파치 스톰의 통합 - 자바 ____예제 __아파치 카프카와 아파치 스톰의 통합 - 스칼라 __활용 사례 - 스톰, 카프카, 하이브를 사용한 로그 처리 ____프로듀서 __스톰 애플리케이션 ____프로젝트 실행 __요약 7장. 컨플루언트 플랫폼에서의 카프카 활용 __컨플루언트 플랫폼 소개 __컨플루언트 구조 __카프카 커넥트와 카프카 스트림의 이해 ____카프카 스트림 __스키마 레지스트리를 사용한 에이브로 다루기 __카프카 데이터의 HDFS 이전 ____캐머스 ____고블린 ____카프카 커넥트 ____플룸 __요약 8장. 카프카를 사용한 ETL 파이프라인 제작 __ETL 파이프라인에서의 카프카 활용을 위한 고려사항 __카프카 커넥트 소개 __카프카 커넥트 심층 분석 __카프카 커넥트 소개 예제 __카프카 커넥트의 일반적인 활용 사례 __요약 9장. 카프카 스트림을 사용한 스트리밍 애플리케이션 개발 __카프카 스트림 소개 ____스트림 처리에 카프카 사용하기 ____카프카 스트림 - 가벼운 스트림 처리 라이브러리 __카프카 스트림 구조 __통합 프레임워크의 장점 __테이블과 스트림의 이해 ____메이븐 의존성 ____카프카 스트림 단어 수 세기 예제 ____KTable __카프카 스트림 활용 사례와 예제 ____카프카 스트림의 메이븐 의존성 ____Property Reader ____IP 레코드 프로듀서 ____IP 룩업 서비스 ____사기 감지 애플리케이션 __요약 10장. 카프카 클러스터 구축 __카프카 클러스터 내부구조 ____주키퍼의 역할 ____복제 ____메타데이터 요청 처리 ____프로듀서 요청 처리 ____컨슈머 요청 처리 __용량 계획 ____용량 계획의 목표 ____복제 팩터 ____메모리 ____하드 드라이브 ____네트워크 ____CPU __단일 클러스터 설치 __다중 클러스터 설치 __브로커 해제 __데이터 마이그레이션 __요약 11장. 빅 데이터 애플리케이션에 카프카 활용하기 __카프카의 대용량 데이터 관리 ____적합한 하드웨어 선택 ____프로듀서의 읽기와 컨슈머의 쓰기를 위한 선택 __카프카의 메시지 전송 체계 ____최대 한 번 전송 ____최대 한 번 전송 ____정확히 한 번 전송 __빅 데이터와 일반적인 카프카 활용 형태 __카프카와 데이터 거버넌스 __알림과 모니터링 __유용한 카프카 측정 지표 ____프로듀서 지표 ____브로커 지표 ____컨슈머 지표 __요약 12장. 카프카 보안 __카프카 보안 개요 __SSL을 사용한 전송 암호화 ____카프카에서 SSL을 활성화하는 과정 ____카프카 브로커에 대한 SSL 설정 ____카프카 클라이언트 SSL 설정 __인증을 위한 커베로스 SASL ____카프카에서 SASL/GSSAPI를 활성화하는 과정 __ACL과 권한 인증 이해 ____일반적인 ACL 동작 __주키퍼 인증 이해 __권한 인증을 위한 아파치 레인저 ____레인저에 카프카 서비스 추가 ____정책 추가 __모범 사례 __요약 13장. 스트리밍 애플리케이션 설계의 고려 사항 __처리 시간과 처리량 __데이터와 상태 정보의 지속성 __데이터 소스 __외부 데이터 룩업 __데이터 형식 __데이터 직렬화 __병렬 처리 수준 __순서가 바뀐 이벤트 __메시지 처리 체계 __요약