딥페이크 생성과 탐지(큰글자책)(인공지능총서)

현실이 된 가짜의 위협, 딥페이크를 이해하고 대비하라

AI 기술의 진보로 현실처럼 만들어지는 가짜 이미지, 음성, 영상의 생성 원리와 탐지 기술을 다룬다. 딥페이크는 예술, 교육, 마케팅 등에 활용될 수 있지만 악용될 경우 사회 혼란과 범죄로 이어지는 심각한 위협이 된다. 고위 인사 사칭, 음란물 합성, 가짜 뉴스 등 피해 사례는 나날이 증가하고 있다. 이 책은 이러한 위협에 대응하기 위해, 딥페이크 기술의 구조와 탐지 원리를 체계적으로 설명한다. 생성형 AI와 딥러닝, 적대적 생성 네트워크(GAN), 확산 모델 등 딥페이크의 생성 기술은 물론, 이를 판별하기 위한 주파수 분석, 음성·영상 탐지 기법도 소개한다. 단순 기술 설명을 넘어, 국내외 연구 성과와 탐지 기술의 미래 방향까지 다루며 독자에게 기술적 이해와 사회적 통찰을 동시에 제공한다. 기술에 대한 막연한 두려움에서 벗어나 균형 잡힌 시각을 갖기 원하는 일반인, 정책 담당자, 연구자, 그리고 창작 도구로 AI를 활용하고자 하는 예술가에게 필요한 정보를 담았다.

[목 차]

일상으로 다가온 딥페이크

 

01 딥페이크의 역사 및 사회적 대처

02 딥러닝

03 잠재 공간을 이용한 멀티미디어 생성

04 인공지능을 이용한 멀티미디어 생성 과정

05 적대적 생성형 모델과 확산 모델

06 영상 딥페이크 탐지 방법

07 음성 딥페이크 탐지 방법

08 딥페이크 탐지의 어려움

09 딥페이크 탐지 성능 향상

10 딥페이크 탐지 연구 방향


[본 문]

딥페이크에 대응하는 법규나 제도도 활발히 논의되고 있다. 여기에는 딥페이크의 피해자나 생성형 인공지능을 개발 또는 활용하는 개인, 기업 등 다양한 사람의 입장이 복잡하게 얽혀 있다. 딥페이크로 인한 피해를 방지하기 위해, 우리나라 ｢성폭력범죄의처벌등에관한특례법｣ 제14조의2에서는 허위 영상물을 만드는 사람에 대한 처벌을 명시하고 있다. 2023년 12월 28일 신설된 ｢공직선거법｣ 제82조의8에서는 선거일 전 90일부터 선거일까지 선거 운동을 위하여 딥페이크 영상 등을 이용하는 것을 금지했다. 또 그 기간이 아닌 때에는 해당 정보가 인공지능 기술 등을 이용해 만든 가상의 정보라는 사실을 명확하게 인식할 수 있도록 표시해야 한다고 규정하고 있다. 좀 더 폭넓게, ‘AI기본법’이 2024년 12월 26일에 국회를 통과했다(김치연·이정현, 2024.12). 여기서는 생성형 AI를 이용한 서비스를 제공하는 사업자는 AI를 사용했다는 사실을 이용자에게 명확히 알리도록 했다.

－01_“딥페이크의 역사 및 사회적 대처” 중에서

 

반대로 우리가 어떤 사람을 만들어 내고 싶다면, 즉 우리가 사는 세계에서의 어떤 그림이나 음성 등을 만들고 싶다면, 잠재 공간에서 우리가 원하는 특성을 가진 사람이 살고 있는 위치를 찾아가면 된다. 그 위치를 찾아가서 그 집에 살고 있는 사람을 데리고 나오면 된다. 그 집 근처에는 비슷하지만 약간씩 다른 사람들이 살고 있으므로, 그중에서 한 사람만 불러온다면, 우리는 무엇인가를 만들 때마다 새로운 것을 만들어 낼 수가 있게 되는 것이다. 또한 그 층이나 동은 정수가 아니라 실수가 될 수 있다. 즉, 1.5층이나 3.14동 등이 존재할 수 있다. 우리가 숫자를 생각했을 때 정수를 사용하지 않고 실수를 사용한다면, 즉 소수점으로 되어 있는 숫자를 사용한다면, 영과 일 사이에도 무한히 많은 실수가 존재한다. 그러므로 그 무한히 많은 숫자 중에서 하나를 골라 오는데, 같은 사람을 선택하는 경우는 거의 없을 것이다. 그 이상한 나라에서 사람을 한 명 데리고 나오면 우리가 사는 세계에서는 그것이 우리가 원하는 그림이 되거나 음성이 되거나 문서가 될 수 있다.

－03_“잠재 공간을 이용한 멀티미디어 생성” 중에서

 

그런 특징들이 만들어지는 원인은 이미지가 만들어지는 과정을 상세히 이해하고 있어야 알 수 있지만, 간단하게 설명하면 다음과 같다. 이미지를 만들 때 첫 단계에서는 작고 개략적인 이미지를 만들고, 그다음 단계로 갈수록 점점 더 큰 이미지, 세밀한 이미지를 만든다. 이것은 이미지를 분석하는 과정의 반대 과정이라고 보면 된다. 이미지를 분석할 때는 그 안에 있는 가로선, 세로선, 사선, 곡선, 점 등의 특징만을 뽑아내는 필터를 사용하는데, 반대로 이미지를 만들 때는 역필터, 즉 우리가 원하는 특징에서 이미지를 만들어 내는 것을 사용한다. 그래서 처음에는 개념적이고 대략적인 그림이 만들어지고, 여러 단계를 거치면서 점점 더 세밀한 그림이 만들어진다. 이때 작은 필터나 역필터 여러 개가 그림 전체에 걸쳐 적용되는데, 그 과정에서 이미지의 한 점에 역필터가 겹쳐 중복되어 적용되고, 중복되는 정보가 강조되면 고주파 정보가 커지게 될 수 있다.

－06_“영상 딥페이크 탐지 방법” 중에서

 

음성을 수집할 때 음성을 압축하는 방법은 여러 가지가 있다. MP3와 스마트폰에서 저장할 때 사용하는 방식이 각각 다르고, 그에 따라 특성도 달라진다. 생성 방법 역시 다양하므로, 모든 생성 방법에 대해 데이터를 충분히 수집한다는 것도 어려운 일이다. 새로운 생성 방법이 나오면 그 방법으로 만든 데이터를 대량으로 수집해 이전에 수집했던 데이터와 함께 다시 학습해야 하므로, 데이터 저장 공간이 많이 필요하고 그 많은 데이터로 학습하기 위한 시간도 오래 걸린다. 이러한 문제의 해결책의 하나로 학습 데이터 없이 학습하는 방법도 고안되었다.

－09_“딥페이크 탐지 성능 향상” 중에서