금융 AI의 이해 - 신용 평가 사기 탐지 퀀트 투자 생성형 AI를 활용한 실전 금융 AI 가이드

AI, 금융을 바꾸다

 

ChatGPT가 보여준 놀라운 성과는 모든 산업에 혁신적인 변화를 불러왔다. 금융계도 예외는 아니다. 이 책은 핀테크, 금융 투자, 신용 리스크, 금융 사기 탐지 및 방지, 프로덕트 관리, 생성형 AI로 나눠 금융계에서 AI를 활용하는 방법을 다양한 사례와 함께 알아본다. 또한, 파이썬 라이브러리인 NetworkX, OptBinning, 케라스를 활용해 실제 금융 데이터 기반인 예제를 체계적으로 실습한다. 금융과 AI의 만남을 살펴보면서 금융 AI의 전략적 방향성과 금융 AI에 대한 인사이트를 얻을 수 있을 것이다.

[목 차]

 

추천의 글 ix

머리말 xi

이 책에 대하여 xiii

 

CHAPTER 1 금융과 핀테크에서의 AI 1

1.1 금융이란 무엇인가? 3

1.2 금융을 다루는 기관들 4

__1.2.1 은행(제1금융기관) 4

__1.2.2 비은행예금취급기관(제2금융기관) 4

__1.2.3 보험회사 5

__1.2.4 금융투자업자 5

__1.2.5 기타금융기관(카드사 포함) 5

__1.2.6 공적금융기관 5

__1.2.7 핀테크 6

1.3 AI와 그 주변 용어들 6

1.4 금융과 AI 8

__1.4.1 국내 금융 분야 AI 시장 규모 9

__1.4.2 금융 산업에 대한 AI의 영향력이 큰 이유 10

__1.4.3 금융 AI 트렌드 13

__1.4.4 금융 서비스에서 AI의 핵심 가치 15

__1.4.5 금융 서비스 분야에서 AI의 도입 장벽 16

1.5 금융 AI의 주요 활용 분야 18

__1.5.1 신용 평가에서 AI와 대체 데이터의 활용 19

__1.5.2 사기 탐지 및 방지: 디지털 시대의 필수 요소 21

__1.5.3 고객 서비스 26

__1.5.4 투자와 트레이딩 28

__1.5.5 준법 감시와 규제 29

__1.5.6 프로세스 자동화 31

1.6 금융 AI 핵심 문제 정의 33

1.7 금융 AI 전망과 도전적 과제들 35

__1.7.1 양질의 데이터 확보 36

__1.7.2 규제 및 보안 이슈 37

__1.7.3 기존 레거시 시스템의 한계 37

__1.7.4 윤리적 고려의 중요성 38

1.8 마무리 39

 

CHAPTER 2 금융 투자 영역에서의 AI 41

2.1 대표적인 금융 투자 방식 43

__2.1.1 퀀트의 기원과 AI 시대 44

__2.1.2 성장하는 알고리즘 트레이딩 시장 46

2.2 금융 투자 영역에서 AI가 각광받는 이유 46

2.3 AI를 접목한 투자의 장점과 단점 47

2.4 금융 투자 데이터 유형 49

2.5 데이터 소스 선택 51

2.6 전통적인 퀀트 투자 vs. AI 기반의 계량 투자 52

__2.6.1 전통적인 퀀트 투자 전략 54

__2.6.2 AI 기반 투자 전략 55

2.7 AI를 금융 투자에 활용할 때 주의해야 할 점 56

2.8 실제 투자 영역에서의 AI 응용 사례 57

2.9 마무리 60

실습 1 금융 시계열 및 파이썬을 활용한 전통 퀀트 방법 구현 60

실습 2 머신러닝을 이용한 투자 전략 75

실습 3 딥러닝을 이용한 투자 전략 98

 

CHAPTER 3 AI 기반의 신용 리스크 모델링 113

3.1 신용 리스크 관리 개요 115

__3.1.1 신용 리스크 관리의 중요성 116

__3.1.2 신용 리스크 관리의 필수성 116

__3.1.3 신용 리스크 관리의 실천 방안 116

3.2 신용 평가 모델의 활용 117

__3.2.1 신용 평가 모델의 다양한 활용 사례 117

__3.2.2 여러 나라의 신용 평가 시스템 118

__3.2.3 핀테크에서의 신용 평가 모델 활용 119

3.3 신용 리스크 관리 체계 123

__3.3.1 데이터 체계 125

__3.3.2 전략 체계 126

__3.3.3 모델 체계 128

3.4 AI 적용 관점에서의 신용 리스크 관리 영역 특징 129

3.5 신용 평가 모델 평가 지표 130

__3.5.1 K-S 통계량 130

__3.5.2 PSI 131

__3.5.3 정밀도와 재현율 132

__3.5.4 AUC-ROC 134

3.6 신용 평가 모델 개발을 위한 사전 지식 135

__3.6.1 연체 기간 136

__3.6.2 관찰 시점 137

__3.6.3 관찰 기간 137

__3.6.4 성능 기간 137

__3.6.5 종속변수 138

__3.6.6 성능 기간 설정과 빈티지 분석 139

__3.6.7 데이터 분할 전략 141

3.7 머신러닝 기반 신용 평가 모델 개발 142

__3.7.1 데이터 준비 143

__3.7.2 데이터 가공(피처 엔지니어링) 147

__3.7.3 모델링 154

__3.7.4 스코어링 155

__3.7.5 모델의 해석력 158

__3.7.6 모델 배포 159

__3.7.7 모니터링 161

3.8 마무리 161

실습 1 밑바닥부터 시작하는 머신러닝 기반 신용 평가 모델 개발 162

실습 2 OptBinning 라이브러리를 활용한 신용 평가 모델 개발 184

 

CHAPTER 4 AI를 활용한 금융 사기 거래 탐지 및 예방 201

4.1 금융 사기 거래 탐지의 중요성과 AI 203

4.2 이상 탐지와 사기 거래 탐지 205

4.3 금융 사기 유형 206

4.4 금융 사기의 특성 207

4.5 사기 거래 탐지와 진화하는 AI 기술 209

4.6 금융 사기 거래 탐지 및 예방 210

__4.6.1 사기 거래 탐지 및 예방 시장 규모 211

__4.6.2 금융 사기 예방 방법 212

4.7 사기 거래 탐지 및 예방 리스크 관리 전략 개발 프로세스 215

__4.7.1 리스크 관리 전략 개발 프로세스 215

__4.7.2 리스크 분석 216

__4.7.3 전략 설계 및 프로세스 디자인 217

__4.7.4 전략 효과 평가 및 진단 조율 217

__4.7.5 지속적인 개선과 최적화 217

4.8 마무리 218

실습 1 사기 거래 탐지를 위한 가장 기본적인 방법: 규칙 기반 탐지 219

실습 2 머신러닝 기반의 신용카드 사기 거래 탐지 모델 개발 223

실습 3 딥러닝 기반의 신용카드 사기 거래 탐지 모델 개발 248

실습 4 그래프 데이터를 활용한 금융 사기 거래 탐지 및 예방 259

 

CHAPTER 5 금융 AI 프로덕트 관리 277

5.1 데이터 파이프라인 구축 280

5.2 데이터 파이프라인 예시 282

5.3 SQL과 에어플로를 활용한 배치 처리 데이터 파이프라인 예시 284

5.4 모델 패키징 및 배포 289

__5.4.1 모델 패키징하기 289

__5.4.2 배포하기 290

5.5 프로덕션 환경에서의 모델 테스트 방법 291

5.6 AI 프로덕트 성능 모니터링 292

__5.6.1 공변량 시프트 293

__5.6.2 개념 드리프트 294

__5.6.3 모델 성능 저하를 불러오는 변화 유형 294

__5.6.4 데이터 분포 시프트를 감지하는 방법 294

5.7 AI 프로덕트의 모델 재학습 주기 296

5.8 AI 프로덕트 성과 및 가치 측정 297

__5.8.1 비즈니스 관점 297

__5.8.2 시스템적 관점 298

__5.8.3 체계적이고 정량적인 지표를 제공하자 299

5.9 마무리 300

실습 1 Evidently AI를 활용한 모니터링 301

 

CHAPTER 6 금융에서의 생성형 AI 활용 309

6.1 생성형 AI의 핵심 원리와 사용 방안 312

__6.1.1 데이터 수집 및 변환 315

__6.1.2 임베딩 315

__6.1.3 질의와 문서 임베딩 비교 316

__6.1.4 프롬프트 보강 316

6.2 LLM 애플리케이션을 만들기 위한 도구들 317

__6.2.1 RAG 317

__6.2.2 공통 도구 318

__6.2.3 미세 조정 319

6.3 금융에서의 생성형 AI 활용 방안 319

6.4 생성형 AI에 대한 오해와 진실 323

__6.4.1 생성형 AI 기술은 새롭다 323

__6.4.2 기반 모델이 기존의 머신러닝을 완전히 대체할 것이다 323

__6.4.3 환각 현상 때문에 생성형 AI 응용이 불가능하다 324

__6.4.4 생성형 AI가 모든 문제를 해결할 것이다 324

6.5 마무리 325

 

찾아보기 327

 

[본 문]

 

금융 서비스 분야에서 신용 리스크 관리와 신용 결정 과정은 개인과 기업의 재무 건전성을 평가하고, 잠재적인 신용 손실을 예측하는 데 중요한 역할을 한다. 전통적으로 이 과정은 재무제표, 신용 기록, 시장 위치 등의 정보에 의존해왔다. 하지만 전통적인 데이터 소스만으로는 개인과 기업의 신용 리스크를 전면적으로 평가하기에 한계가 있다는 점이 드러나고 있다. 이러한 상황에서 AI 기술과 대체 데이터의 결합은 신용 평가 방법론에 혁신을 가져오고 있다. / 대체 데이터는 개인의 온라인 거래 기록, 소셜 미디어 활동, 온라인 고객 리뷰, 심지어 위성 이미지 분석까지 포함하여, 전통적인 재무 데이터에서 파악하기 어려운 다양한 측면의 정보를 제공한다. 이러한 데이터는 AI와 머신러닝 알고리즘으로 분석할 때, 개인과 기업의 신용 리스크를 더욱 다각도에서 평가할 수 있는 새로운 기회를 열어준다. (19쪽)

 

투자 전략의 성공을 판단할 때 높은 수익률만을 기준으로 삼는 것은 충분하지 않다. 수익률은 투자에서 발생하는 위험, 시장 변동성, 자금 유동성 등 다른 중요한 요소들을 고려하지 않기 때문이다. 따라서 투자 전략의 진정한 성공을 평가하기 위해서는, 수익률 이외에도 위험 관리, 장기적 안정성, 시장 조건 변화에 대한 적응력 등 다양한 각도에서 그 효과성을 검토해야 한다. / 예를 들어 위험 조정 수익률 지표들은 투자자가 수익을 얻기 위해 얼마나 많은 위험을 감수했는지를 보여준다. 이는 단순한 수익률만으로는 투자 전략의 효과를 정확히 평가할 수 없기 때문이다. 높은 수익률을 달성했더라도 그 과정에서 많은 위험을 감수했다면, 그 전략은 결코 최선의 선택이 아닐 수 있다. 또한 투자의 변동성은 투자자의 리스크 허용 범위와 직결된다. 낮은 변동성은 안정적인 수익률을 의미할 수 있지만, 때로는 높은 변동성이 높은 수익률로 이어질 수도 있다. 그러나 높은 변동성은 큰 손실로도 이어질 수 있으므로, 투자자는 자신의 위험 감수 능력에 맞는 전략을 선택해야 한다. (73~74쪽)

 

AUC-ROC는 모델이 다양한 임곗값에서 어떻게 성능을 나타내는지를 종합적으로 보여준다. ROC 곡선은 실제로 긍정인 경우를 얼마나 잘 긍정으로 예측하는지(TPR)와 실제로 부정인 경우를 얼마나 잘 부정으로 예측하는지(FPR)를 다양한 임곗값에서 보여준다. 이러한 방식으로 AUC-ROC는 모델이 클래스 간 구분을 얼마나 잘 하는지에 대한 전체적인 그림을 제공한다. / 불균형 데이터셋에서는 한 클래스의 예시가 다른 클래스보다 훨씬 많다. 신용 평가 모델에서는 우량 고객(부정적 사례)이 불량 고객(긍정적 사례)보다 많은 경우가 일반적이다. 이런 상황에서는 단순히 모델이 대부분의 예시를 우량 고객으로 예측해도 높은 정확도를 얻을 수 있지만, 이는 실제로 모델의 성능이 좋다는 것을 의미하지 않는다. AUC-ROC는 모델이 양 클래스를 얼마나 잘 구분하는지를 보여주기 때문에, 불균형 데이터에서도 모델의 실제 성능을 공정하게 평가할 수 있다. 모델이 단순히 다수 클래스를 예측하는 데 치우쳐 있지 않고, 소수 클래스의 예측에도 뛰어난 능력을 보인다면, AUC-ROC값이 높게 나타날 것이다. (134쪽)

 

금융 사기 거래 탐지에서 데이터의 불균형은 큰 도전 과제 중 하나다. 사기 거래는 전체 거래에서 차지하는 비율이 매우 낮아, 이러한 불균형한 데이터 상태에서 효과적인 모델링을 위해서는 특별한 접근 방법이 필요하다. 여기서 우리는 트리 기반 모델을 활용할 예정이며, 데이터 불균형 문제를 해결하기 위해 SMOTE(synthetic minority over-sampling technique) 기법을 사용한다. SMOTE는 소수 클래스의 샘플을 합성하여 모델 학습 시 소수 클래스의 영향력을 강화하는 기법이다. / 이 단계에서는 모델의 성능 극대화를 위한 복잡한 파라미터 튜닝보다는 불균형 데이터를 처리하면서 기본적으로 사용할 수 있는 기법들을 적용하는 데 의의를 둔다. (225~226쪽)

 

데이터 파이프라인 구축은 AI 기반 시스템에서 데이터를 효율적으로 관리하고 활용하기 위한 핵심적인 작업이다. 파이프라인은 두 가지 주요 목적을 가진다. 바로 ‘분석을 위한 데이터 파이프라인’과 ‘운영 모델을 지원하는 데이터 파이프라인’이다. / 분석을 위한 데이터 파이프라인(data pipeline)은 데이터 과학자와 분석가들이 데이터에 쉽게 접근하고 분석할 수 있도록 설계된다. 이러한 파이프라인은 데이터의 수집, 정제, 전처리 및 변환 과정을 포함하여 데이터를 분석 준비 상태로 만든다. 예를 들어 원천 데이터로부터 유의미한 인사이트를 도출하기 위해 데이터 웨어하우스나 데이터 레이크에 저장된 데이터를 활용할 수 있다. / 운영 모델을 지원하는 데이터 파이프라인은 신용 평가와 사기 탐지 모델 같은 AI 모델이 실시간 또는 배치 처리 방식으로 데이터를 처리하고 예측할 수 있도록 지원한다. 이러한 파이프라인은 모델의 학습, 배포, 예측 결과 생성을 포함한 머신러닝 라이프사이클 자동화에 중점을 둔다. (280쪽)

 

RAG(retrieval-augmented generation)는 입력된 프롬프트를 바탕으로 관련 데이터베이스나 문서에서 정보를 검색하고 검색된 정보를 통합해 응답을 생성하는 방법이다. 일반적인 LLM은 이미 학습된 데이터를 바탕으로 텍스트를 생성한다. 이 모델들은 대량의 텍스트 데이터로 훈련되어 일반적인 질문에 논리적이고 자연스러운 답변을 할 수 있지만, 그 데이터가 최신의 정보를 반영하지 못하는 경우가 있다. 즉 훈련 데이터에 없는 최신 정보나 특정한 전문 지식을 요구하는 질문에는 정확하게 대응하기 어려울 수 있다. / 반면에 RAG는 필요할 때마다 적절한 데이터를 즉시 검색하여 정보를 찾아 답변을 생성한다. 이 과정에서 RAG는 입력된 프롬프트와 관련된 정보를 데이터베이스에서 실시간으로 검색하고, 검색된 정보를 기반으로 응답을 구성한다. 이 방식은 모델이 학습 데이터에 포함되지 않은 최신 정보나 더 깊이 있는 데이터에 접근할 수 있게 해준다. 결과적으로 RAG를 사용할 때는 더 업데이트된 정보를 반영하고, 더 정확하고 신뢰성 있는 답변을 생성할 수 있다. (317~318쪽)