[목 차]
추천사
프롤로그
Chapter 1 우리는 언제 어디서나 정보를 추론한다
1.1 셜록 홈스와 개발자 김 대리
1.1.1 수수께끼로 알아보는 정보 추론
1.1.2 셜록 홈스의 뛰어난 추론 능력
1.1.3 개발자 김 대리의 일기
1.1.4 정보 추론의 어려움
1.2 〈지자의린(智子疑鄰)〉이 주는 교훈
1.2.1 흑백 논리
1.2.2 확률적 사고
1.3 가장 잘 설명하는 것이 가장 가능성이 높은 것이다
1.3.1 조건부 확률
1.3.2 최대 우도법
1.3.3 누가 10점을 명중시켰을까?
1.3.4 최대 우도법의 또 다른 예시
1.4 당신이 희귀 혈액 질환을 앓을 확률은?
1.4.1 원인에 따라 발생 확률이 다르다
1.4.2 혈액 질환 검사
1.4.3 직업 선택의 문제
Chapter 2 베이즈 정리
2.1 베이즈 정리와 그 수학적 논리
2.1.1 베이즈 정리의 탄생
2.1.2 정보 추론을 수학적으로 표현하기
2.1.3 최대 우도법을 수학적으로 표현하기
2.1.4 베이즈 정리를 활용한 정보 추론
2.1.5 베이즈 정리를 통해 알게 된 사실
2.1.6 베이즈 정리를 이용한 세 가지 추론 사례
2.2 베이즈 정리와 오컴의 면도날
2.2.1 오컴의 면도날
2.2.2 베이즈적 사고로 해석하는 오컴의 면도날
2.3 베이즈 정리와 핸런의 면도날
2.3.1 핸런의 면도날
2.3.2 베이즈적 사고로 해석하는 핸런의 면도날
2.4 가능성이 있는 원인을 빠뜨리지 마라
2.4.1 여섯 개의 나폴레옹 석고상
2.4.2 연인의 일기
2.4.3 곡식 대신 고기, 빵 대신 케이크
Chapter 3 베이즈 정리의 구성 요소 ➀: 사전 확률
3.1 옌스 레만에게 건넨 쪽지: 사전 확률의 중요성
3.1.1 날아오는 공을 막는 방법
3.1.2 의문의 쪽지와 마르티네스의 조언
3.1.3 똑같이 떠들었는데, 왜 누구는 혼나고 누구는 혼나지 않는 걸까?
3.2 본질을 이해하려면 큰 그림을 보라: 베이즈 정리와 외부 관점
3.2.1 내부 관점과 외부 관점
3.2.2 내부 관점의 문제
3.2.3 외부 관점에서 문제를 볼 때 주의해야 할 점
3.3 상인의 전략: 베이즈 정리와 앵커링 효과
3.4 사전 확률을 찾는 방법
3.4.1 과거 데이터 분석+유사한 집단 찾기
3.4.2 유사한 집단에서 사전 확률을 찾는 방법
3.4.3 사전 확률을 찾는 과정에서 범하는 오류 ➀
3.4.4 사전 확률을 찾는 과정에서 범하는 오류 ➁
3.4.5 사전 확률을 조정할 때 자주 나타나는 문제
Chapter 4 베이즈 정리의 구성 요소 ➁: 관측
4.1 어떤 관측이 당신의 인식을 바꿀 수 있을까?
4.1.1 정보량이 큰 관측
4.1.2 정보량이 작은 관측
4.2 엘리베이터에서 마주친 여성
4.2.1 스타의 이미지는 어떻게 바뀔까?
4.2.2 두 아이의 논쟁
4.2.3 엘리베이터에서 마주친 여성이 나를 보고 웃었다
4.3 별자리와 '목발 장수의 속임수' 뒤에 숨겨진 수학의 원리
4.3.1 바넘 효과
4.3.2 베이즈적 사고로 분석하는 별자리
4.3.3 목발 장수의 속임수
4.4 '대가'의 말을 믿으면 안 되는 이유
4.4.1 배타적인 증거는 왜 찾기 어려운가?
4.4.2 설명하기는 쉽고, 배제하기는 어렵다
4.5 사후 확률을 바꾸는 또 다른 방법
4.5.1 M&M’s 초콜릿 조항
Chapter 5 여러 개의 관측 정보를 활용한 베이즈 추론
5.1 바닐라 아이스크림을 사러 갔는데 차가 시동이 걸리지 않는다
5.1.1 조건부 독립의 정의
5.1.2 겉보기에는 관련 있어 보이나 실은 조건부 독립인 경우
5.1.3 겉보기에는 독립적이지만 실은 조건부 독립인 경우
5.2 여러 개의 관측 정보를 활용해 확률을 추론하는 방법
5.2.1 여러 관측값을 고려한 베이즈 정리
5.2.2 오늘 날씨가 맑을 확률은?
5.2.3 물이 끓었을까?
5.3 중요한 관측을 놓치지 마라
5.3.1 샘플링 편향을 피해라
5.3.2 증거 수집의 기술
부록
부록 A. 그림을 이용한 방법과 베이즈 정리
부록 B. 식 (5-2)의 유도 과정
[본 문]
** 사물이나 현상이 드러나는 과정은 안에서 바깥으로 향하는 ‘정방향 과정’이다. 즉, 내적 요인이 겉으로 드러나는 것, 본질이 관측 가능한 형태로 드러나는 것, 원인이 결과로 이어지는 흐름과 같다. 이러한 관점에서 보면 정보 추론은 바깥에서 안으로 향하는 ‘역방향 과정’이라 할 수 있다.
예를 들어 보자. 모든 질병은 특정한 증상을 나타낸다. 여기서 ‘질병’은 내적 요인이고, ‘증상’은 겉으로 드러난 모습이다. 의사가 환자의 병을 진단하는 과정이 바로 정보 추론의 전형적인 예라고 할 수 있다. 의사는 겉으로 드러난 증상을 바탕으로 환자가 앓고 있는 질병을 추론한다.
** 최대 우도법은 확률적 사고방식의 한 종류다. 우리는 어떤 현상을 관측했을 때, 가장 먼저 그 현상을 일으킬 가능성이 있는 모든 원인을 나열하고, 그중에서도 해당 현상을 가장 논리적으로 설명할 수 있는 원인을 선택한다. 이것이 바로 최대 우도법의 핵심 원리다.
대부분의 사람은 여태껏 ‘최대 우도법’이라는 개념을 모르고 살아왔을 것이다. 심지어 확률을 배워 본 적이 없는 사람도 꽤 많을 것이다. 하지만 아이러니하게도 우리는 실생활에서 문제를 고민하고 판단할 때, 무의식적으로 최대 우도법을 자주 사용한다.
** 정보 추론이란 어떤 현상을 목격한 후 그 현상의 배후에 있는 가장 가능성 높은 원인을 찾는 과정이다. 여기서 ‘그 현상의 배후에 있는 가장 가능성 높은 원인’을 결정하는 과정은 두 단계로 나눌 수 있다. 첫째, 어떤 현상을 목격한 후, 그 현상을 초래했을 가능성이 있는 여러 원인의 확률을 계산한다. 둘째, 가장 높은 확률을 가진 원인을 선택한다. 여기서 우리가 기억해야 할 것이 있다. ‘관측된 현상을 특정 원인이 초래했을 확률’은 조건부 확률이라는 것이다.
** 베이즈 정리로 추론해 보면, 내 뒤를 따라오는 사람이 단순한 행인일 확률이 나를 해치려는 사람일 확률보다 6만 배 더 크다. 그러므로 누군가 내 뒤를 따라온다고 해서 과도하게 불안해할 필요는 없다.
다만, 이 두 원인의 사전 확률은 장소와 환경에 따라 달라질 수 있다. 예를 들어 범죄율이 높은 국가에서는 ‘누군가 나를 해칠 가능성’이라는 사전 확률이 크게 증가할 수 있다. 마찬가지로 걷고 있는 장소가 번화가가 아닌 외진 골목이라면 내 뒤를 따라오는 사람이 ‘단순한 행인일 가능성’은 낮아지게 된다.
** 골키퍼는 날아오는 공을 어떻게 막을까? 이는 전형적인 정보 추론 과정이다. 골키퍼는 상대 선수의 슈팅 동작을 관찰하고 슈팅 방향을 예측한 뒤, 정확한 방향으로 몸을 던져 공을 막는다.
즉, 여러 가능성이 있는 슈팅 방향 중에서 각 방향의 사후 확률, 즉 𝑃(슈팅 방향 𝑖 |슈팅 동작)을 계산한 뒤, 사후 확률이 가장 높은 방향으로 몸을 던지는 것이다.
** 사전 확률을 사후 확률 대신 사용하여 대다수 기업의 생존 가능성을 추정할 수 있다. 하지만 창업자에게 자신의 기업이 살아남을 가능성(사후 확률)을 묻는다면, 이들은 평균적인 성공 확률인 사전 확률을 알고 있더라도 ‘내 회사는 다른 회사와 다르다’라고 믿을 가능성이 크다. 그리고 이러한 믿음은 우도를 왜곡하여 실제보다 과도하게 긍정적인 결과를 만들어 내고, 정규화된 우도 값이 1보다 훨씬 커지게 되는 결과를 초래한다.
** 한 회사에서 부사장 자리가 공석이 되어 몇 명의 후보자 중 한 명을 선택해야 하는 상황이다. 대부분의 사람은 경력도 오래되고 업무 능력도 뛰어난 장 과장이 승진할 것이라고 예상했다. 그런데 어느 날 동료가 몰래 아무도 예상하지 못했던 김 과장이 승진했다는 소식을 전했다.
여기서 ‘김 과장이 승진했다’라는 소식은 당신에게 매우 큰 정보량을 제공한다. 왜냐하면 이 소식은 기존 예상과 크게 다르기 때문이다. 반면, 만약 장 과장이 승진했다는 소식을 들었다면 별로 놀랍지 않았을 것이다. 왜냐하면 그 소식은 이미 예상된 결과이기 때문이다.
** ‘택시 기사가 재킷을 입었다’와 ‘교통사고가 발생했다’라는 두 사건은 통계적으로 관련이 있는 것처럼 보이지만, 실제로는 ‘비가 내렸다’라는 조건이 전제되었을 때 서로 독립적이다. 즉, ‘비가 내렸다’라는 사실을 알게 되면 택시 기사의 재킷 착용 여부와 상관없이 교통사고 발생 가능성이 높다는 것을 예측할 수 있다.
‘그럴듯한 거짓’에 속지 않기 위한 발상의 전환
당신이 꼭 알아야 할 단 하나의 수학, 베이즈 정리
“수학과 인생을 동시에 설명하는, 진짜 ‘생각의 책’이다”
- 중국 대표 콘텐츠 플랫폼 더우반 베스트 리뷰
과거 90%의 정확도가 미래 수익을 보장하지 않는 이유를 깨달을 수 있다.
- 홍콩 개인투자자 리뷰
베이즈 정리는 이성의 수술용 칼이다.
- 중국 유명 팟캐스트 유쿠
”99% 확실하다는 말, 정말 믿어도 될까?“
불확실성이 일상이 된 시대
이제는 직관이 아닌 데이터와 확률로 생각하라
아무리 냉철한 사람도 착각에 빠진다. 겉보기에 완벽한 논리가 거짓일 수도 있고, 숫자가 진실을 가리는 가면이 되기도 한다. 우리는 종종 “확률이 높다”라는 말에 안도하거나 공포를 느끼지만, 정작 그 숫자가 어디에서 왔는지, 무엇을 전제로 하는지 따져 보는 일은 드물다. 그렇기에 베이즈 정리는 지금 이 시대에 반드시 알아야 할 ‘생각의 기술’이다. 끊임없이 쏟아지는 정보와 근거가 부족한 확신 속에서, 베이즈 정리는 우리가 어떻게 판단해야 하는지를 묻는다. 그리고 이렇게 답한다. “지금까지의 믿음을, 새로운 정보에 따라 갱신하라.”
'그럴듯한 거짓'에 속지 않으려면 반드시 이 책을 읽어라!
우리는 누구나 불확실한 세상 속에서 살아간다. 그래서 어떤 일이 일어날 가능성, 무언가가 사실일 확률을 끊임없이 따지고 판단해야 한다. 그런데 이 책은 묻는다. “당신은 그 확률을 진짜로 이해하고 있습니까?” Chapter 1은 바로 이 질문으로 문을 연다. 사람들은 “확률이 높다”는 말에 쉽게 확신하고, “99% 정확하다”는 주장에 의심 없이 끌린다. 하지만 그 숫자가 정말 무엇을 의미하는지, 어떤 조건으로부터 나왔는지를 따져본 적이 있는가? Chapter 1은 우리가 얼마나 자주, 숫자와 확률이라는 이름의 착시 속에서 잘못된 판단을 내리는지를 보여 준다. 예를 들어 병원에서 받은 ‘양성 반응’이 실제로 병이 있다는 뜻일까? 99%의 정확도라고 해도, 실제 확률은 10%도 안 될 수 있다는 사실을 알게 되면 누구나 놀란다. 그렇게, 우리의 직관이 얼마나 자주 틀리는지 깨닫게 된다.
그렇다면 우리는 어떻게 더 나은 판단을 할 수 있을까? Chapter 2는 그 해답으로 ‘베이즈 정리’를 제시한다. 이 정리는 단순히 수학 공식을 넘어서 세상을 이해하는 완전히 새로운 방식이다. 어떤 사건이 일어났다고 해서 곧바로 결론을 내리는 것이 아니라, 그 사건이 기존의 정보와 얼마나 잘 맞아떨어지는지를 따지는 방식이다. 즉, 처음의 믿음에 새로운 정보를 더해 생각하는 방식이다. Chapter 2는 베이즈 정리를 쉽게 설명하면서, ‘판단은 하나의 답이 아니라 계속해서 갱신되어야 하는 과정’이라는 점을 강조한다. 그리고 이어지는 Chapter 3에서는 이 개념을 조금 더 깊이 들여다본다. 베이즈 정리는 이미 알고 있는 정보(사전 확률)를 바탕으로 특정 사건이 일어날 확률(사후 확률)을 갱신하는 공식이다. Chapter 3은 이러한 베이즈 정리를 구성하는 요소인 사전 확률의 중요성에 대해 짚어본다. 사전 확률은 새로운 증거를 얻기 전에 기존의 정보나 경험을 바탕으로 특정 원인이 실제로 맞을 가능성을 판단한 초기 추정치다. 골키퍼가 사전 확률을 바탕으로 몸을 던져 승부차기를 막아낸 사례를 들며 추론하는 과정을 차근차근 보여 준다.
그렇다고 이 책이 이론만 이야기하는 것은 아니다. Chapter 4부터는 본격적으로 현실에서 벌어진 사례들을 소개한다. 새로운 관측에 따라 사전 확률과 사후 확률의 차이를 만들어 낼 수 있는지를 일상의 사례로 이야기한다. 스타의 이미지, 두 아이의 논쟁, 엘리베이터에서 마주친 여성의 미소가 자신에 대한 호감를 표한 것인지, 또는 별자리학 같은 이야기로 베이즈 정리의 핵심을 독자가 쉽게 이해할 수 있도록 안내한다. 이어지는 Chapter 5에서는 조건부 독립이라는 개념을 통해 사회 속의 ‘다수 의견’이 어떻게 개인의 판단에 영향을 미치는지를 보여 준다. 많은 사람이 믿고 있는 말이라고 해서 반드시 진실이 되는 것은 아니다. 오히려 다수가 믿고 있기에 더 경계해야 할 수도 있다. Chapter 5는 그런 집단 심리에 빠지는 이유를 베이즈 정리를 통해 분석한다.
지금 우리는 모두가 투자자가 된 시대를 살고 있다. 주식, 부동산, 암호 화폐, AI 관련주까지 매일같이 쏟아지는 정보 속에서 무엇을 믿고 무엇을 거를지를 결정해야 한다. 단지 뉴스가 반복된다고, 누군가가 전문가처럼 말한다고 따라가서는 안 된다. 판단은 늘 ‘기존의 정보’와 ‘새롭게 얻은 정보’를 결합하여 재계산되어야 하며, 그 방식은 ‘베이즈 정리’로 가능하다. 이 책은 단지 수학을 알려주는 것이 아니라, 돈이 오가는 모든 상황에서 우리가 더 똑똑하게 판단하고 결정하도록 이끌어준다. 그리고 그것은 수많은 변수와 혼란 속에서도 흔들리지 않는 가장 합리적인 무기가 되어줄 것이다.