자율주행 환경의 AI 공격 시나리오

I. 자율주행차 AI 시스템에서 발생가능 문제점, 파급 효과

  • 자율주행차의 AI 기술이 진화하면서 인지-판단-제어를 통해 주변상황을 자율적으로 인지하고, 차량 부품을 통제하여 자율성(Autonomy)이 향상되므로 사회적 이익과 편리성이 증가
  • 한편, 자율주행차 AI의 판단 착오 발생 시 운전자, 보행자에게 치명적 위험을 초래하여 사회적 혼란이 가중될 위험이 동시에 존재하므로 AI 보안 위험 요소 파악 및 보안성 확보가 필수 요소임.

 

II.  자율주행 기술 진화 단계 별 특징

구분0 단계1 단계2 단계3 단계4 단계5 단계
특징No AutomationDriver AssistancePartial AutomationConditional AutomationHigh AutomationFull Automation
안전을 위해 단순 경고조향/감속 단일 제어 보조조향+가감속 제어 통합 보조제한적 자율주행대부분 시스템이 주행완전 자율주행
응용기술FCW, LDW, BSDLKA, SCC, AEBTJA, HDAEnhanced Auto PilotV2V, V2I, V2X, AI, 정밀지도V2V, V2I, V2X, AI, 정밀지도
기술 수준충돌 경고, 차선 이탈 경고특정 조건에서 개발 기능 작동도로에서 차량 간격과 속도 조절특정 주행 모드에서 일부 자율주행완전자율주행 지역에 일부 제약 존재Door to Door 가능 완전 자율주행
운전자 역할모든 기능 직접 수행운전 및 상황 주시운전상황주시(휴식 불가)필요 시 운전자 개입운전자 개입 불필요독서, 휴식, 수면 등
주행 주체운전자운전자운전자운전자+
차량(시스템)
차량(시스템)차량(시스템)
책임 소재운전자운전자운전자운전자차량(시스템)차량(시스템)
  • 국제자동차기술자협회(SAE International)의 분류 기준에 따르면 4단계부터는 운전에 대한 책임이 운전자 보다 차량 시스템에 의존하므로 자율주행차가 본격적으로 운행되면 AI 시스템의 안전과 보안성은 더욱 중요해질 전망

 

III. 자율주행 환경의 AI에 대한 공격 시나리오 및 보안성 확보 방안

가. 자율주행 환경의 AI에 대한 공격 시나리오

공격 시나리오피해자산문제점
도로표지판 인식 및 차선 감지 이미지 처리 모델에 대한 악의적 행위– 표지인식 시스템
– 차량 기능
– 도로표지판(정지, 속도 제한 등) 그림, 차선, 변경, 스티커 배치, 빛의 투영 등 차량 주변의 물리적 변경으로 혼돈 유발
– 주변 환경에 대한 오류 정보를 인식하여 오작동 발생
계획 모듈에 대한 중간자 (Man-in-the-middle) 공격– 이동 계획
– 알고리즘
– 차량 기능
– 헤드유닛(HU)의 원격 취약점을 통해 원격으로 침투
– 차량부품에 변조된 모듈을 삽입하여 인터넷 통신 가로채기
– 중간자 공격(MITM) 통해 정보 탈취, 차량 제어 가능
정지 신호 감지에 대한 데이터 중독 (Data Poisoning) 공격– 의사결정 알고리즘
– 차량 기능
– 차량 정보전송 다수 발생(불확실성이 높은 상황)을 악용하여 제조업체의 정기적 자율주행차의 AI 모델 업데이트 시 AI 모델 내부에 예기치 않은 동작을 주입
OEM 백엔드 서버 해킹 후 악성 펌웨어를 대규모 유포하는 공격– 백엔드시스템
– SW 라이선스
– OTA 업데이트
– OEM 개발자 등 백엔드 서버의 악성 AI 펌웨어 배포
– AI 모델의 악성 OTA(Over-The-Air) 업데이트 실행
– 신뢰할 수 있는 서버 연결이므로 합법적 요소로 착오
센서 / 통신 트래픽 혼잡 및 GNSS 스푸핑 공격– 소프트웨어
– 통신 시스템
– GNSS
– 무선 네트워크에 다수 트래픽 유발 V2X 통신 방해
– 오류 신호(잘못된 위치 기반 정보)를 방출하여 통신 스푸핑
– 센서 의존 AI 모델에 문제 발생, 차량 사고를 유발

나. 자율주행 환경의 AI 공격 시나리오 별 보안성 확보 방안

공격 시나리오보안성 확보 방안달성 요소
도로표지판 인식 및 차선 감지 이미지 처리 모델에 대한 악의적 행위– 하드웨어 중복 메커니즘 사용
– 다중 센서 중복 데이터 유효성 검사
– 판독 기호 정보 수신위한 V2X 통신
– 표시 및 통행 기호 인식
– 견고한 AI 모델 설계
– 차량 간 협업
계획 모듈에 대한 중간자 (Man-in-the-middle) 공격– AI와 무관한 사이버 체인 요소 보호
– 악의적 머신러닝 대비 보안 강화
– 하드웨어 중복 메커니즘 사용
– 민첩한 패치 메커니즘
– 견고한 Machine Learning
정지 신호 감지에 대한 데이터 중독 (Data Poisoning) 공격– 악의적 머신러닝 대비 보안 강화
– 하드웨어 중복 메커니즘 사용
– 차량 표지판의 인증 방법 제공
– 민첩한 패치 메커니즘
– 견고한 Machine Learning
OEM 백엔드 서버 해킹 후 악성 펌웨어를 대규모 유포하는 공격– 보안 통제와 보안 패치 정기적 평가
– 차량 및 백엔드 수준에서 IDS 배포
– CSIRT 구축, OTA 업데이트 보호
– AI 입력 검증 메커니즘
– 안전한 부팅 프로세스
– 제품 수명주기 관리
센서 / 통신 트래픽 혼잡 및 GNSS 스푸핑 공격LSH 등 해시 기반 통신 무결성 보장
– 무선 신호와 센서 정보를 상호 검증
– GPS, V2I 위치정보 유효성 검사
– AI 시스템의 입력 검증 메커니즘
– 암호화 및 보안 설계
– 안전성 확보 프로토콜 수립
  • 최근 정부가 발표한 ‘미래자동차 확산 및 시장 선점 전략’에 따른 자율주행차 산업 육성을 위해 기업과 기관에서 대규모 연구개발과 상용화를 위한 자율주행 환경의 AI 보안성 강화 과제 수립 및 달성이 필요

 

IV. 자율주행차 산업 육성을 위한 자율주행 환경의 AI 보안성 강화 과제와 권고사항

구분AI 보안성강화과제권고 사항
자율주행차 연구개발 측면AI 모델 및 데이터의 체계적 보안 검증– AI 모델 사전/사후 모니터링 및 유지관리 절차 수립
– AI 모델 수명주기 전반 구성요소 고려 체계적 위험 평가
기존 사이버보안과 통합 위한 접근– AI 특수성 통합 조직 보안절차 설정 및 AI 개발 보안설계
– 표준화 구성부품 및 동종 AI 솔루션 사용 장려, R&D 촉진
자율주행차 상용화 측면AI 사이버 보안 관련 공급망 안전성 확보– 중소기업 원격근무 컨설팅 지원, 비대면 환경 조성
– 원격근무 솔루션 구축 지원, 공동활용 화상회의실 구축
AI 관련 사고처리 및 취약성 발견/교훈– AI 특수성을 고려하여 사고 대응 계획 조정 및 지식 공유
– 보안사고로부터 학습 및 필수 표준 사용, 재난 훈련 시행
  • 자율주행 환경의 사이버 보안 위해 기존의 사이버보안 방법론과 AI 시스템에 특화된 사이버보안 방법론을 융합하여 효과적 보안 구현이 가능
  • 자율주행차에서 필요한 AI 기술에 대한 연구개발 강화와 AI 시스템 관련 위험 요인을 사전에 분석하고 자율주행차 제조과정에서 보안설계를 수행하도록 법제화 추진 필요

 
[참고]

  • 관계부처 합동, 미래자동차 확산 및 시장선점 전략(2020. 10)
  • 2021 KISA REPORT, 자율주행차의 AI 시스템에 대한 사이버보안

콘텐츠 사용 시 출처 표기 부탁 드리고, 궁금한 점이나 의견은 댓글 남겨주세요^^

도리의 디지털라이프에서 더 알아보기

지금 구독하여 계속 읽고 전체 아카이브에 액세스하세요.

Continue reading