위험한 인공지능 - AI가 무기가 된 세상 AI로 맞서는 보안 전문가를 위한 실전 가이드(위키북스 with AI 시리즈 13)

초보자부터 현업 전문가까지 ‘AI 보안’에 대한 인사이트를 얻을 수 있습니다

인공지능이 인간을 위협하는 시나리오에는 항상 전투 로봇과 IT 시스템을 마음대로 주무르는 인공지능 머신이 따라온다. 즉, 인공지능과 정보보안 분야가 완전히 결합되어야 우리를 두려움에 떨게 만드는 영화 속 무시무시한 인공지능이 탄생하게 되는 것이다. 이 책은 인공지능 기술의 핵심 원리와 함께, 이러한 기술들이 정보보안 분야에 어떻게 융합되어 위협이 되고, 어떻게 이러한 위협에 대응할 수 있는지에 관한 내용을 담고 있다.

 

★ 이 책에서 다루는 내용 ★

 

◎ AI 기술과 정보보안 분야의 발전 과정과 사례

AI 기술의 양대 산맥인 컴퓨터 비전, 자연어 처리 기술의 동작 원리를 설명하고, 이러한 기술들이 정보 보안 분야에서 어떻게 활용될 수 있는지 다양한 사례를 통해 보여줍니다.

 

◎ 설명 가능한 AI(XAI)와 적대적 학습

AI 모델의 판단 근거를 이해하고 XAI 기술과 AI 모델의 취약점을 악용하는 적대적 학습 기술의 개념, 중요성, 그리고 정보 보안 분야에서의 활용 방안을 제시합니다.

 

◎ LLM(Large Language Model)과 정보보안

최근 급부상하고 있는 LLM의 개념, 작동 원리, 그리고 정보 보안 분야에서의 활용 가능성과 잠재적 위협을 분석합니다.

 

◎ AI 기반 사이버 공격과 방어

AI 기술을 악용한 사이버 공격 유형(자동화된 취약점 공격, 생성형 사회공학 공격, 생성형 악성 코드 제작, 딥페이크 등)과 이러한 공격에 대한 방어 기술 및 전략을 소개합니다.

 

◎ AI 버그 헌팅

AI 기술을 활용한 버그 헌팅 기술의 개념, 동작 방식, 그리고 잠재적 활용 가능성을 살펴보고, 실제 사례를 통해 AI 버그 헌팅 기술의 미래 전망을 제시합니다.

[목 차]
  

▣ 01장: 격변하는 AI 시장

1.1 AI, 세상의 중심에 서다

1.2 인간의 눈을 가지다: 비전 기술

1.3 인간의 언어를 이해하다: 자연어 처리

1.4 반도체 시장의 새로운 흐름: On-Device AI 칩

1.5 인간처럼 사고한다: 멀티 모달 AI

1.6 상상과 행동: 공간 지능

 

▣ 02장: 컴퓨터 비전

2.1 핵심 기술 이해

2.2 사이버 보안과 비전

___비전 기술 기반의 보안 위협 탐지

___영상 데이터에서 정보 추출

2.3 지능형 영상 보안 기술

___지능형 영상 보안

___평가지표

2.4 설명 가능한 AI

 

▣ 03장: 적대적 학습

3.1 적대적 학습

3.2 적대적 학습 기반 생성 AI

___GAN(Generative Adversarial Network)

___GAN을 응용한 안티 바이러스 우회

3.3 적대적 공격 기술

___개요

___화이트박스 기반 공격

___블랙박스 기반 공격

3.4 적대적 공격 방어

___개요

___예방

___대응: 적응형 모델 학습

 

▣ 04장: 자연어 처리

4.1 핵심 기술 이해

4.2 정보보안과 자연어

4.3 언어 모델 보안

___프롬프트 인젝션

___Role-Play

___스위치

___접두어-접미어

___아스키 아트

___이미지 업로드

___인코딩

4.4 LLM as a Weapon

___공격 페이로드 생성

___악성 코드 제작

4.5 OWASP LLM TOP 10

___프롬프트 인젝션(Prompt Injection)

___안전하지 않은 출력값 처리(Insecure Output Handling)

___학습 데이터 오염(Training Data Poisoning)

___모델 서비스 거부 공격(Model Denial of Service)

___공급망 취약점(Supply Chain Vulnerability)

___민감한 정보 누출(Sensitive Information Disclosure)

___안전하지 않은 플러그인 설계(Insecure Plugin Design)

___과도한 자율성(Excessive Agency)

___과도한 의존(Overreliance)

___모델 탈취(Model theft)

 

▣ 05장: 딥페이크와 피싱

5.1 AI as a Weapon

___적응형 자동화 도구

___자동화된 취약점 공격

___생성형 사회공학 공격

___생성형 악성 코드 제작

5.2 AI 피싱

___개요

___AI 서비스를 활용한 이메일 생성

___AI 기반 악성 메일 대응 훈련

___대상 맞춤형 피싱 메일 제작

5.3 딥페이크

___개요

___영상 생성 단계 예시

___딥페이크 탐지 기술

 

▣ 06장: 소프트웨어 취약점

6.1 가장 강력한 무기: 취약점

6.2 버그헌팅 기술

6.3 AI 버그헌팅

6.4 LLM과 버그헌팅

___Puffin (Pwn 유형)

___Rebug 2 (리버싱 유형)

___Discord Admin Bot (misc 유형)

___smug-Dino (Web 유형)

___결론

 

▣ 부록

A.1 코랩 실습 환경 구성

A.2 openAI API 키 발급

A.3 ngrok 인증 토큰 발급

A.4 실습용 가상머신 설정 및 구동 방법

A.5 DAN(Do Not Anything) 프롬프트

___DAN 13.0 Prompt

___Anti-DAN Prompt