X

생성형 인공지능(Generative AI) 보안 위협

1. 생성형 인공지능(Generative AI)의 개념

  • 이미지, 비디오, 오디오, 텍스트 등을 포함한 대량의 데이터를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고 새로운 데이터를 자동으로 생성해주는 인공지능 기술
  • 기존 AI 기술이 회귀(regression), 분류(classification), 군집화(clustering) 등 판별적 인공지능(Discriminative AI) 기술이었다면, 생성형 AI 기술은 이용자가 요구한 질문이나 과제를 해결하기 위해 주어진 데이터를 기반으로 패턴과 규칙을 학습하고 새로운 컨텐츠를 생성

 

2. 생성형 인공지능의 보안 위협과 위협 원인

보안 위협 위협 원인 가능한 보안 위협
잘못된 정보 – 편향
– 최신 데이터 학습 부족
– 환각 현상
– 사회적 혼란 조장
– 고위험 의사 결정
– 잘못된 의사 결정 유도
AI 모델 악용 – 적대적 시스템 메시지 – 피싱 이메일 및 인물 도용
– 사이버 보안 위협 코드 작성
– 대화형 서비스를 악용한 사이버 범죄 커뮤니티 활성화
사회 공학적 영향
– 가짜 뉴스 생성
유사 AI 모델 서비스 빙자 – 유사 악성 서비스 접근 유도 – 스쿼팅 URL 및 확장 프로그램
– 가짜 애플리케이션
데이터 유출 – 데이터 합성 과정의 문제
– 과도한 훈련 데이터 암기 문제
– 대화 과정에서 개인정보 및 민감 정보 작성
– 훈련 데이터 유출
– 데이터 불법 처리 우려
– 기밀 유출
– 대화 기록 유출
– 데이터베이스 해킹, 회원 추론 공격
플러그인 취약점 – AI 모델의 적용 범위 확장
– 안정성 확인 미흡
– 해커 공격 범위 확장
– 취약점이 있는 서비스와 연결
– 새로운 도메인에서의 모델 오작동
– ‘에이전트’화 된 AI 모델의 악용
멀티모달 악용
확장 프로그램 취약점 – 확장 프로그램 내부 악성 서비스
– 서비스 제공 업체 보안 조치 미흡
– 개인정보 수집
– 시스템 공격
– 호스팅 서버/스토리지 시스템 위협
API 취약점 – 미흡한 API 키 관리
– 데이터/명령 사이 불분명한 경계
– API 키 탈취
– 악의적인 프롬프트 주입
  • ChatGPT와 같은 대규모 언어모델 등 생성형 AI 기술의 보안 위협으로 잘못된 정보, AI 모델 악용, 유사 AI 모델 서비스 빙자, 데이터 유출, 플러그인 취약점, 확장 프로그램 취약점, API 취약점 등이 존재
  • 안전한 생성형 인공지능 서비스 구축을 위해 보안 위협과 원인을 이해하고 대응 필요

 

[참고]

  • 국가정보원(NIS), 챗GPT 등 생성형 AI 활용 보안 가이드라인, 2023.6
Categories: 보안
도리: