[태그:] AI 공격

1. 프롬프트 인젝션 (Prompt Injection)의 개념 및 위험성 개념 위험성 생성형 AI에 악의적 명령(프롬프트)을 주입하여 모델이 의도하지 않은 동작을 수행하도록 유도하는 공격 기법 – 악성코드 전파 및 원격 실행 – 잘못된 정보 및 멀웨어 삽입 – 중요 정보 및 프롬프트 유출 – 잘못/편향된 콘텐츠 생성 한국인터넷진흥원(KISA)은 국내 사이버 위협 동향 보고서에 AI 기술을 악용한 사이버

1. Security for AI, Evasion Attack 인공신경망 인식 시 AI 모델이 원래 Class가 아닌 다른 Class로 인식하게 하는 입력 데이터 변조 공격   2. Evasion Attack의 메커니즘 및 공격 유형 (1) Evasion Attack 메커니즘 ① 변환기에 원본 샘플 x와 원본 Class y 입력 ② 출력값으로 원본 샘플 x에 노이즈 w 추가 ③ 변형 샘플의 클래스