1. 생성형 인공지능(Generative AI)의 개념
- 이미지, 비디오, 오디오, 텍스트 등을 포함한 대량의 데이터를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고 새로운 데이터를 자동으로 생성해주는 인공지능 기술
- 기존 AI 기술이 회귀(regression), 분류(classification), 군집화(clustering) 등 판별적 인공지능(Discriminative AI) 기술이었다면, 생성형 AI 기술은 이용자가 요구한 질문이나 과제를 해결하기 위해 주어진 데이터를 기반으로 패턴과 규칙을 학습하고 새로운 컨텐츠를 생성
2. 생성형 인공지능의 보안 위협과 위협 원인
| 보안 위협 | 위협 원인 | 가능한 보안 위협 |
|---|---|---|
| 잘못된 정보 | – 편향 – 최신 데이터 학습 부족 – 환각 현상 | – 사회적 혼란 조장 – 고위험 의사 결정 – 잘못된 의사 결정 유도 |
| AI 모델 악용 | – 적대적 시스템 메시지 | – 피싱 이메일 및 인물 도용 – 사이버 보안 위협 코드 작성 – 대화형 서비스를 악용한 사이버 범죄 커뮤니티 활성화 – 사회 공학적 영향 – 가짜 뉴스 생성 |
| 유사 AI 모델 서비스 빙자 | – 유사 악성 서비스 접근 유도 | – 스쿼팅 URL 및 확장 프로그램 – 가짜 애플리케이션 |
| 데이터 유출 | – 데이터 합성 과정의 문제 – 과도한 훈련 데이터 암기 문제 – 대화 과정에서 개인정보 및 민감 정보 작성 | – 훈련 데이터 유출 – 데이터 불법 처리 우려 – 기밀 유출 – 대화 기록 유출 – 데이터베이스 해킹, 회원 추론 공격 |
| 플러그인 취약점 | – AI 모델의 적용 범위 확장 – 안정성 확인 미흡 – 해커 공격 범위 확장 – 취약점이 있는 서비스와 연결 | – 새로운 도메인에서의 모델 오작동 – AI 에이전트 모델의 악용 – 멀티모달 악용 |
| 확장 프로그램 취약점 | – 확장 프로그램 내부 악성 서비스 – 서비스 제공 업체 보안 조치 미흡 | – 개인정보 수집 – 시스템 공격 – 호스팅 서버/스토리지 시스템 위협 |
| API 취약점 | – 미흡한 API 키 관리 – 데이터/명령 사이 불분명한 경계 | – API 키 탈취 – 악의적인 프롬프트 주입 |
- ChatGPT와 같은 대규모 언어모델 등 생성형 AI 기술의 보안 위협으로 잘못된 정보, AI 모델 악용, 유사 AI 모델 서비스 빙자, 데이터 유출, 플러그인 취약점, 확장 프로그램 취약점, API 취약점 등이 존재
- 안전한 생성형 인공지능 서비스 구축을 위해 보안 위협과 원인을 이해하고 대응 필요
[참고]
- 국가정보원(NIS), 챗GPT 등 생성형 AI 활용 보안 가이드라인, 2023.6