• 소득공제
  • 무료배송

데이터 엔지니어링 디자인 패턴 - 데이터 수집부터 품질 오케스트레이션 관찰 가능성까지 반복되는 문제를 해결하는 70가지 패턴 전략

  • 바르토시 코니에치니
  • 김인범
  • 한빛미디어
  • 2026년 01월 30일
사용자 평점
0리뷰 0개
10%31,50035,000원
적립금
1,750원 (5% 적립)
추가 적립 안내
  • 5만원 이상 결제 시 (*배송비 제외)

    정가제FREE(상품/사은품) 금액이
    2,000원 이상이면 2,000원 추가적립

  • 10만원 이상 결제 시 (*배송비 제외)

    정가제FREE(상품/사은품) 금액이
    2,000원 이상이면 2,000원 추가적립

    정가제FREE(상품/사은품) 금액이
    5,000원 이상이면 5,000원 추가적립

회원가입 시 적립금 즉시 지급!

배송비
무료 (해외배송의 경우 지역에 따라 상이)

배송안내

배송비 안내
  • 1만원 이상 주문 시 무료배송 입니다.
  • 주문하신 상품을 해외로 배송 하시는 경우에는 별도의 항공료 가 부과됩니다
서울특별시 강남구 강남대로 542(논현동, 영풍빌딩)
주문 수량 변경시 안내

[주문/배송] 주문 수량 변경 시 안내

주문 수량 변경 시,배송일정이 변경될 수 있으니 반드시 확인해 주시기 바랍니다.
(고객센터 1544-9020)

지금 주문하면 9/10(목) 출고 가능
택배보다 빠른, 나우드림
상품 규격 정보
상품상세정보
ISBNISBN-13 : 9791175790117
쪽수408쪽
크기기타 규격
제품구성단행본
이 책이 속한 분야
  • 컴퓨터/IT > 컴퓨터일반
관련 이벤트

AI추천 이유

책 소개

데이터 엔지니어링, 경험을 구조화하고 패턴으로 표준화하다

데이터 파이프라인을 설계하다 보면, 프로젝트가 달라져도 놀랍도록 비슷한 문제를 반복해서 마주하게 됩니다.

이 책은 이러한 반복이 개인의 역량 부족이 아니라, 표준화된 패턴과 전략이 부재했기 때문이라고 말합니다.

데이터 수집, 오류 처리, 멱등성, 데이터 품질, 관찰 가능성까지 현업 데이터 엔지니어가 매번 고민해 온 핵심 과제를 디자인 패턴으로 정리해 제시합니다. 패턴별로 언제 사용해야 하는지, 어떤 해결책이 있으며 어떤 트레이드오프가 따르는지를 함께 설명해 설계 판단의 기준을 명확히 합니다. 기술 스택과 환경이 바뀌어도 재사용할 수 있는 원칙을 통해, 더 탄력적이고 신뢰할 수 있는 데이터 파이프라인을 설계하도록 돕는 실무형 가이드입니다.

 

주요 내용

- 반복되는 데이터 엔지니어링 문제를 패턴으로 일반화

- 데이터 수집부터 운영·모니터링까지, 워크플로 전반에서 다루는 실무 핵심 과제

- 설계 트레이드오프를 탐색하고 효과적인 멀티 에이전트 시스템 구현하기

- 기술 스택에 종속되지 않는 설계 원칙 강조

목차

[목 차]

CHAPTER 1 데이터 엔지니어링 디자인 패턴 소개

_1.1 디자인 패턴이란 무엇인가?

_1.2 기존 디자인 패턴만으로 충분한가?

_1.3 일반적인 데이터 엔지니어링 패턴

_1.4 이 책에서 사용된 사례

_1.5 요약

 

CHAPTER 2 데이터 수집 디자인 패턴

_2.1 전체 적재

패턴 #01: 전체 로더

_2.2 증분 적재

패턴 #02: 증분 로더

패턴 #03: 변경 데이터 캡처

_2.3 복제

패턴 #04: 패스스루 복제기

패턴 #05: 변환 복제기

_2.4 데이터 컴팩션

패턴 #06: 컴팩터

_2.5 데이터 준비

패턴 #07: 준비 마커

_2.6 이벤트 주도

패턴 #08: 외부 트리거

_2.7 요약

 

CHAPTER 3 오류 관리 디자인 패턴

_3.1 처리할 수 없는 레코드

패턴 #09: 데드 레터

_3.2 중복된 레코드

패턴 #10: 윈도 중복 제거

_3.3 지연 데이터

패턴 #11: 지연 데이터 탐지기

패턴 #12: 정적 지연 데이터 통합기

패턴 #13: 동적 지연 데이터 통합기

_3.4 필터링

패턴 #14: 필터 인터셉터

_3.5 내결함성

패턴 #15: 체크포인터

_3.6 요약

 

CHAPTER 4 멱등성 디자인 패턴

_4.1 덮어쓰기

패턴 #16: 빠른 메타데이터 정리기

패턴 #17: 데이터 덮어쓰기

_4.2 갱신

패턴 #18: 병합기

패턴 #19: 상태 저장 병합기

_4.3 데이터베이스

패턴 #20: 키 기반 멱등성

패턴 #21: 트랜잭션 기반 작성자

_4.4 불변의 데이터셋

패턴 #22: 프록시

_4.5 요약

 

CHAPTER 5 데이터 가치 디자인 패턴

_5.1 데이터 강화

패턴 #23: 정적 조이너

패턴 #24: 동적 조이너

_5.2 데이터 데코레이션

패턴 #25: 래퍼

패턴 #26: 메타데이터 데코레이터

_5.3 데이터 집계

패턴 #27: 분산 집계기

패턴 #28: 로컬 집계기

_5.4 세션화

패턴 #29: 증분 세션화 처리기

패턴 #30: 상태 저장 세션화 처리기

_5.5 데이터 정렬

패턴 #31: 빈 팩 정렬기

패턴 #32: 선입 선출 정렬기

_5.6 요약

 

CHAPTER 6 데이터 흐름 디자인 패턴

_6.1 시퀀스

패턴 #33: 로컬 시퀀서

패턴 #34: 독립된 시퀀서

_6.2 팬인

패턴 #35: 정렬된 팬인

패턴 #36: 비정렬 팬인

_6.3 팬아웃

패턴 #37: 병렬 분할

패턴 #38: 배타적 선택

_6.4 오케스트레이션

패턴 #39: 단일 실행기

패턴 #40: 동시 실행기

_6.5 요약

 

CHAPTER 7 데이터 보안 디자인 패턴

_7.1 데이터 제거

패턴 #41: 수직 파티셔너

패턴 #42: 제자리 덮어쓰기

_7.2 접근 제어

패턴 #43: 테이블에 대한 세밀한 접근자

패턴 #44: 자원에 대한 세밀한 접근자

_7.3 데이터 보호

패턴 #45: 암호화기

패턴 #46: 익명화기

패턴 #47: 의사 익명화기

_7.4 연결성

패턴 #48: 비밀 포인터

패턴 #49: 비밀 없는 커넥터

_7.5 요약

 

CHAPTER 8 데이터 스토리지 디자인 패턴

_8.1 파티셔닝

패턴 #50: 수평 파티셔너

패턴 #51: 수직 파티셔너

_8.2 레코드 구성

패턴 #52: 버킷

패턴 #53: 정렬기

_8.3 조회 성능 최적화

패턴 #54: 메타데이터 강화기

패턴 #55: 데이터셋 구체화기

패턴 #56: 매니페스트

_8.4 데이터 표현

패턴 #57: 정규화기

패턴 #58: 역정규화기

_8.5 요약

 

CHAPTER 9 데이터 품질 디자인 패턴

_9.1 품질 확보

패턴 #59: 감사-쓰기-감사-배포(AWAP)

패턴 #60: 제약 조건 적용자

_9.2 스키마 일관성

패턴 #61: 스키마 호환성 적용자

패턴 #62: 스키마 마이그레이터

_9.3 품질 관찰

패턴 #63: 오프라인 옵서버

패턴 #64: 온라인 옵서버

_9.4 요약

 

CHAPTER 10 데이터 관찰 가능성 디자인 패턴

_10.1 데이터 탐지기

패턴 #65: 흐름 중단 탐지기

패턴 #66: 스큐 탐지기

_10.2 시간 탐지기

패턴 #67: 지연 탐지기

패턴 #68: SLA 위반 탐지기

_10.3 데이터 계보

패턴 #69: 데이터셋 추적기

패턴 #70: 세밀한 추적기

_10.4 요약

 

APPENDIX 디자인 패턴 요약

추천사

    이 책은 데이터 엔지니어링 디자인 패턴의 미래를 제시하는 획기적인 작품으로, 모든 데이터 전문가가 반드시 읽어야 할 필독서입니다. GoF(Gang of Four)Design Patterns이 소프트웨어 설계의 기준을 세웠다면, 이 책은 데이터 엔지니어링 분야에서 그에 버금가는 중요성을 지닙니다.

     

    스콧 헤인스, Delta Lake: The Definitive Guide』 공저자

     

    데이터 엔지니어링은 종종 같은 문제를 반복해서 해결하는 일처럼 느껴집니다. 저자는 이 책을 통해 그런 인식을 완전히 바꿔 놓았습니다. 멱등성부터 오류 처리, 데이터 관찰 가능성까지 폭넓게 다루며, 재사용 가능하고 검증된 디자인 패턴으로 탄력적인 데이터 파이프라인을 구축하는 완벽한 가이드를 제시합니다.

    아디 폴락, 콘플루언트 이사

     

    이 책은 데이터 수집부터 관찰 가능성까지의 전 과정을 70가지 표준 디자인 패턴으로 체계화했습니다. '멱등성' '데이터 가치' 등 실무 기법을 명확히 정의하여 엔지니어링 문제 해결의 기준을 제시하며, 단계별 트레이드오프를 미리 검토하게 하여 고민을 덜어줍니다. 특히 코드 예제와 도커 환경을 제공해 디자인 패턴을 즉시 실무에 적용할 수 있도록 도와줍니다. 표준화된 패턴으로 팀 내 기술 언어를 통합하고 아키텍처의 완성도를 높이고 싶은 엔지니어에게 이 책을 추천합니다.

     

    김시온, 네이버 웹툰 데이터 엔지니어

     

    하나의 장비 안에 머물던 데이터를 넘어, 빅데이터 시대에는 상상할 수 없을 만큼 방대한 데이터를 다루게 되었습니다. 여러 곳에 흩어진 데이터를 수집하고 가공해 의미 있는 결과를 만들어 내는 일은 이제 매우 복잡하고 까다로운 과제입니다.

     

    이 책은 데이터를 어떻게 다루고, 상황에 맞게 가공하며, 시간의 흐름에 따라 어떻게 진화시켜야 하는지를 중심으로 데이터 처리 파이프라인 전반을 다룹니다. 빠르게 변하는 환경 속에서도 기준이 될 수 있는 원칙을 패턴으로 정리해, 데이터 엔지니어링의 본질에 집중할 수 있도록 안내합니다.

    윤병조, 소프트웨어 개발자

     

    현업 데이터 엔지니어의 관점에서 수집, 오류 관리, 멱등성, 품질, 관찰 가능성까지 데이터 파이프라인에서 반복적으로 마주치는 핵심 요소들을 패턴으로 정리한 실무형 레퍼런스입니다. 기술 스택과 무관하게 재사용할 수 있는 트레이드오프와 주의점을 중심으로 설명과 예제를 구성해, 데이터 파이프라인 설계 시 의사결정의 속도와 품질 기준을 동시에 끌어올려 주는 필수 지침서입니다.

    이동규, 데이터 엔지니어

출판사 서평



처음부터 다시 만들 필요는 없다

답은 이미 패턴에 있다

데이터 엔지니어링에서도 디자인 패턴은 이제 선택이 아닌 필수적인 사고 도구로 자리 잡고 있습니다.

이 책은 소프트웨어 엔지니어링 분야에서 검증된 디자인 패턴 개념을 데이터 엔지니어링으로 확장해, 이 영역에서 디자인 패턴이 무엇을 의미하는지부터 차근차근 설명합니다.

데이터 수집을 출발점으로 오류 관리와 멱등성, 재시도와 백필 시나리오까지 실제 파이프라인에서 반드시 마주치는 문제를 설계 관점에서 살펴봅니다. 이어 데이터 가치를 창출하기 위한 데이터 결합과 흐름 설계, 보안과 스토리지 전략을 통해 파이프라인을 조직 전체의 데이터 아키텍처로 확장하는 방법을 다룹니다. 또한 데이터 품질과 관찰 가능성 패턴을 통해 문제를 사전에 감지하고, 신뢰할 수 있는 데이터 시스템을 구축하는 접근법을 제시합니다.

각 장은 특정 기술에 대한 설명이 아니라, 반복적으로 등장하는 문제와 그에 대한 검증된 해결 구조에 초점을 맞춰 환경이 달라져도 적용 가능한 기준을 제공합니다.

이 책을 통해 독자는 복잡한 데이터 파이프라인을 보다 체계적으로 사고하고, 상황에 맞는 설계 결정을 내리는 데 필요한 데이터 엔지니어링 디자인 패턴의 핵심을 익힐 수 있습니다.

저자 소개
저자 : 바르토시 코니에치니
도서리뷰 (0)
이 책을 읽고 어떤 느낌을 받으셨나요? 리뷰를 남기고 다른 독자들과 함께 공유해보세요.

등록된 리뷰가 없습니다

첫번째 리뷰어가 되어주세요

교환/반품/환불
반품/교환방법
  • 마이페이지 > 주문관리 > 주문/배송조회 > 주문조회 후  [1:1상담신청]  또는 고객센터 (1544-9020)
  • ※ 오픈마켓, 해외배송 주문상품 문의 시 [1:1상담신청] 또는 고객센터 (1544-9020)
반품/교환 가능기간
  • 변심반품의 경우 수령 후 7일 이내
  • 상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내
반품/교환비용
  • 단순변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
  • 해외직배송 도서 구매 후 단순변심에 의한 취소 및 반품 시 도서판매가의 20% 수수료 부과
반품/교환 불가 사유
  • 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우
  • 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우
    예) 만화, 잡지, 수험서 및 문제집류
  • 복제가 가능한 상품 등의 포장을 훼손한 경우
    예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집
  • 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우
  • 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우
  • 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우
  • 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우
상품 품절
  • 공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.
소비자 피해보상
환불지연에 따른 배상
  • 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁 해결 기준 (공정거래위원회 고시)에 준하여 처리됨
  • 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함

매장에서 사용할 수 있는 바코드가 있어요!