모니터링의 새로운 미래 관측 가능성 - 프로메테우스 그라파나 오픈텔레메트리까지 마이크로서비스와 인공지능 중심의 옵저버빌리티 구현

마이크로서비스와 인공지능 사례 중심의 관측 가능성 실무 가이드

클라우드 네이티브 기술이 고도화되고 시스템이 복잡해질수록 근본 원인 분석을 위한 관측 가능성이 필수다. 이 책은 분산 서비스에서 빼놓을 수 없는 쿠버네티스를 기반으로 관측 가능성을 다룬다. 프로메테우스부터 그라파나, 오픈텔레메트리까지 다양하게 다루고 있어 관측 가능성에 대한 폭넓은 지식을 얻을 수 있다. 직접 실습할 수 있도록 Go 언어와 파이썬으로 개발한 마이크로서비스를 제공하며, 다양한 예제를 통해 시스템을 구축해보면서 근본 원인에 대한 분석 방법을 이해하도록 구성했다. 예제는 실무에 가깝게 구성되어 현장에서 바로 적용이 가능한 기술을 익힐 수 있다.

[목 차]

추천사 x
베타리더 후기 xiii
머리말 xv
이 책에 대하여 xvii

CHAPTER 1 관측 가능성의 개념과 방향성 1
1.1 관측 가능성의 세 가지 요소 2
__1.1.1 모니터링과 차이점 2
__1.1.2 관측 가능성 구성 요소 5
1.2 메트릭 6
__1.2.1 가용성 6
__1.2.2 구글의 골든 시그널 7
__1.2.3 메트릭 유형 12
__1.2.4 시계열 데이터 13
__1.2.5 프로메테우스의 히스토그램 16
__1.2.6 메트릭 관리 방안 21
1.3 추적 25
__1.3.1 추적 구성 요소 25
__1.3.2 추적 데모 29
1.4 로그 37
__1.4.1 로그 관리 37
__1.4.2 로그 표준화 40
1.5 상관관계 44
__1.5.1 상관관계의 필요성 44
__1.5.2 상관관계 구현 방안 46
1.6 관측 가능성 데모 52
__1.6.1 데모의 방향성 52
__1.6.2 관측 가능성 데모 목록 54
1.7 관측 가능성 목표 59
__1.7.1 레퍼런스 아키텍처 59
__1.7.2 핵심 목표 60
1.8 관측 가능성 오픈소스 64
1.9 관측 가능성 방향성 65

CHAPTER 2 관측 가능성 기반 기술 69
2.1 트래픽 관리 69
__2.1.1 단일 장애점 69
__2.1.2 로드 밸런서 70
__2.1.3 복원성 패턴 73
__2.1.4 가시성 78
__2.1.5 서비스 메시 79
2.2 쿠버네티스 오토스케일링 81
__2.2.1 오토스케일링 오픈소스 85
__2.2.2 메트릭 측정 90
__2.2.3 메트릭 선정 91
2.3 관측 가능성 프로세스 96
__2.3.1 관측 가능성 운영 프로세스 96
__2.3.2 관측 가능성 장애 프로세스 97
2.4 수평 샤딩 99
2.5 마이크로서비스 102
__2.5.1 마이크로서비스 개발 흐름 103
__2.5.2 관측 가능성의 마이크로서비스 105
__2.5.3 읽기와 쓰기를 분리하기 106
2.6 일관된 해시 108
2.7 관측 가능성 시각화 113
2.8 키-값 저장소 119
2.9 객체 스토리지 120
2.10 안정적 데이터 관리 121
2.11 시계열 데이터 집계 128

CHAPTER 3 관측 가능성의 시작, 프로메테우스 131
3.1 프로메테우스 바이너리 구성 131
3.2 프로메테우스 시계열 데이터베이스 138
__3.2.1 데이터 형식 138
__3.2.2 데이터 관리 139
__3.2.3 블록 관리 141
3.3 프로메테우스 쿠버네티스 구성 144
3.4 프로메테우스 오퍼레이터 146
3.5 프로메테우스 오토스케일링 154
__3.5.1 프로메테우스 어댑터 154
__3.5.2 KEDA 오토스케일 159
3.6 프로메테우스 알람 162
3.7 프로메테우스 운영 아키텍처 170
__3.7.1 샤딩 아키텍처 170
__3.7.2 페더레이션 아키텍처 173
3.8 타노스 운영 175
__3.8.1 타노스 아키텍처 175
__3.8.2 타노스 사이드카 방식 178
__3.8.3 타노스 리시버 방식 181
__3.8.4 타노스 구성 183
__3.8.5 타노스 테스트 186

CHAPTER 4 오픈소스 관측 가능성, 그라파나 189
4.1 그라파나 관측 가능성 190
__4.1.1 목적과 범위 190
__4.1.2 인프라 구성 191
__4.1.3 애플리케이션 구성 193
4.2 로키 로그 관리 202
__4.2.1 로키 기능 202
__4.2.2 로키 바이너리 구성 213
__4.2.3 프롬테일 쿠버네티스 구성 214
__4.2.4 로키 쿠버네티스 구성 215
__4.2.5 로키 테스트 221
4.3 미미르 메트릭 관리 224
__4.3.1 미미르 기능 224
__4.3.2 미미르 구성 232
__4.3.3 미미르 쿠버네티스 구성 236
__4.3.4 미미르 업무 규칙 238
4.4 템포 추적 관리 245
__4.4.1 템포 기능 245
__4.4.2 템포 바이너리 구성 249
__4.4.3 템포 쿠버네티스 구성 250
__4.4.4 템포 쿠버네티스 테스트 252
4.5 예거 추적 관리 254
__4.5.1 예거 쿠버네티스 구성 254
__4.5.2 예거 데이터 모델 257

CHAPTER 5 그라파나 관측 가능성 데모 259
5.1 상관관계 261
__5.1.1 메트릭에서 추적으로 262
__5.1.2 추적에서 메트릭으로 263
__5.1.3 로그에서 추적으로 270
__5.1.4 추적에서 로그로 271
__5.1.5 메트릭에서 로그로 272
5.2 뉴 스택 278
__5.2.1 뉴 스택 소개 279
__5.2.2 뉴 스택 구성 284
__5.2.3 뉴 스택 상관관계 287
5.3 라이드 온디맨드 294
__5.3.1 시스템 설정 296
__5.3.2 소스 설명 309
__5.3.3 HotROD 개선 방향 328
5.4 그라파나 관측 가능성 330
__5.4.1 시스템 개요 330
__5.4.2 소스 설명 333
__5.4.3 시스템 구성 336
__5.4.4 그라파나 데이터 소스 설정 341

CHAPTER 6 관측 가능성의 표준, 오픈텔레메트리 343
6.1 오픈텔레메트리 소개 344
6.2 오픈텔레메트리 컴포넌트 345
__6.2.1 신호의 구성 요소 347
__6.2.2 콘텍스트 전파 358
__6.2.3 파이프라인 359
6.3 추적 361
__6.3.1 오픈텔레메트리 추적 소개 361
__6.3.2 추적 파이프라인 구성 367
6.4 메트릭 374
__6.4.1 오픈텔레메트리 메트릭 소개 374
__6.4.2 메트릭 파이프라인 구성 378
6.5 로그 384
__6.5.1 오픈텔레메트리 로그 소개 384
__6.5.2 로그 파이프라인 구성 391
6.6 컬렉터 397
__6.6.1 오픈텔레메트리 컬렉터 소개 397
__6.6.2 컬렉터 파이프라인 구성 400
6.7 오픈텔레메트리 데모 404

CHAPTER 7 관측 가능성을 넘어 자동화로 425
7.1 IT 운영 자동화 425
7.2 AIOps의 발전 단계 427
__7.2.1 지능형 경고 429
__7.2.2 상관관계 429
__7.2.3 이상 탐지 430
7.3 AIOps의 기술들 431
7.4 앞으로 더 배울 내용 433
__7.4.1 다섯 가지 텔레메트리 433
__7.4.2 이상 탐지 434
__7.4.3 근본 원인 분석 435
__7.4.4 데이터 파이프라인 436
__7.4.5 오픈서치 관측 가능성 436
__7.4.6 멀티 클러스터와 멀티 테넌트 437
__7.4.7 자동 계측 439
__7.4.8 SLO 규칙과 시각화 439

용어 설명 440
찾아보기 445

[본 문]

관측 가능성은 모니터링을 대체하는 개념이 아니다. 하지만 다수 유사한 점을 가지고 있다. 그림 1.1에서 보여주는 것처럼 모니터링은 블랙박스와 화이트박스 영역을 포함하지만, 관측 가능성은 화이트박스와 예측 영역을 포함한다. 즉, 관측 가능성이 지향하는 목표는 내부 시스템에 대한 자세한 이해를 기반으로 미래에 발생할 이벤트를 예측하는 것이고, 이러한 예측을 바탕으로 IT 운영을 자동화하는 것이다. (2쪽)

관측 가능성은 비즈니스를 직접적으로 지원하는 프런트엔드, 백엔드 애플리케이션보다 더 많은 트랜잭션과 부하에 마주치게 된다. 관측 가능성으로 유입되는 시계열 데이터는 변경과 삭제를 제외한 조회, 추가와 관련한 대용량 시계열 트랜잭션이다. 안정적이고 확장 가능한 시스템을 구축하지 않는다면 관측 가능성 시스템은 여러 차례 장애에 부딪칠 가능성이 크다. (70쪽)

시계열 데이터베이스는 시간이 지남에 따라 모든 측정값을 수집, 저장, 질의해야 할 필요성에서 출발했다. 엄청난 양의 측정값을 저장하는 이러한 유형의 데이터베이스는 쓰기에 집중되어 있다. 그러면서도 간단한 쿼리가 몇 시간, 며칠 또는 몇 달간의 엄청난 양의 데이터를 그것도 빠르게 반환한다는 것을 이해하는 것이 중요하다. (143쪽)

이그젬플러는 주어진 시간 간격에서 측정된 추적의 샘플링이다. 이그젬플러는 시계열 데이터 내의 특정 이벤트에서 높은 카디널리티를 가지는 메타데이터를 식별하는 데 도움이 된다. 메트릭은 시스템에 대한 집계 보기를 제공하는 데 탁월하지만, 추적은 단일 요청에 대한 세부적인 보기를 제공한다. 따라서 둘의 상관관계를 만들어 서로 보완해야 하며, 이그젬플러는 메트릭과 추적을 연결하는 방법이다. (262쪽)

다양한 마이크로서비스에 대한 추적을 조회할 수 있다. 원래 HotROD는 예거 추적 기반에서 실행된다. 하지만 예거 추적 기반에서 단독으로 실행하는 것보다, 그라파나와 오픈서치와 같은 관측 가능성 기반으로 구축하면 메트릭, 로그 등과 결합해 문맥이 풍부한 운영 환경을 구축할 수 있다. (305쪽)

오픈텔레메트리 컬렉터는 다양한 형식의 메트릭 데이터를 허용하고 오픈텔레메트리 데이터 모델을 사용하여 데이터를 전송한 다음 기존 시스템으로 내보낸다. 데이터 모델은 자동으로 속성을 제거하고 히스토그램 해상도를 낮추는 기능을 포함하여 데이터의 잘 정의된 변환을 통해 기능이나 의미의 손실 없이 프로메테우스 원격 쓰기 프로토콜로 변환하는 것이 가능하다. (348쪽)