2021년 6월 8일
자율주행 환경의 AI 공격 시나리오
I. 자율주행차 AI 시스템에서 발생가능 문제점, 파급 효과
 |
- 자율주행차의 AI 기술이 진화하면서 인지-판단-제어를 통해 주변상황을 자율적으로 인지하고, 차량 부품을 통제하여 자율성(Autonomy)이 향상되므로 사회적 이익과 편리성이 증가
- 한편, 자율주행차 AI의 판단 착오 발생 시 운전자, 보행자에게 치명적 위험을 초래하여 사회적 혼란이 가중될 위험이 동시에 존재하므로 AI 보안 위험 요소 파악 및 보안성 확보가 필수 요소임.
II. 자율주행 기술 진화 단계 별 특징
| 구분 | 0 단계 | 1 단계 | 2 단계 | 3 단계 | 4 단계 | 5 단계 |
|---|---|---|---|---|---|---|
| 특징 | No Automation | Driver Assistance | Partial Automation | Conditional Automation | High Automation | Full Automation |
| 안전을 위해 단순 경고 | 조향/감속 단일 제어 보조 | 조향+가감속 제어 통합 보조 | 제한적 자율주행 | 대부분 시스템이 주행 | 완전 자율주행 | |
| 응용기술 | FCW, LDW, BSD | LKA, SCC, AEB | TJA, HDA | Enhanced Auto Pilot | V2V, V2I, V2X, AI, 정밀지도 | V2V, V2I, V2X, AI, 정밀지도 |
| 기술 수준 | 충돌 경고, 차선 이탈 경고 | 특정 조건에서 개발 기능 작동 | 도로에서 차량 간격과 속도 조절 | 특정 주행 모드에서 일부 자율주행 | 완전자율주행 지역에 일부 제약 존재 | Door to Door 가능 완전 자율주행 |
| 운전자 역할 | 모든 기능 직접 수행 | 운전 및 상황 주시 | 운전상황주시(휴식 불가) | 필요 시 운전자 개입 | 운전자 개입 불필요 | 독서, 휴식, 수면 등 |
| 주행 주체 | 운전자 | 운전자 | 운전자 | 운전자+ 차량(시스템) | 차량(시스템) | 차량(시스템) |
| 책임 소재 | 운전자 | 운전자 | 운전자 | 운전자 | 차량(시스템) | 차량(시스템) |
- 국제자동차기술자협회(SAE International)의 분류 기준에 따르면 4단계부터는 운전에 대한 책임이 운전자 보다 차량 시스템에 의존하므로 자율주행차가 본격적으로 운행되면 AI 시스템의 안전과 보안성은 더욱 중요해질 전망
III. 자율주행 환경의 AI에 대한 공격 시나리오 및 보안성 확보 방안
가. 자율주행 환경의 AI에 대한 공격 시나리오
| 공격 시나리오 | 피해자산 | 문제점 |
|---|---|---|
| 도로표지판 인식 및 차선 감지 이미지 처리 모델에 대한 악의적 행위 | – 표지인식 시스템 – 차량 기능 | – 도로표지판(정지, 속도 제한 등) 그림, 차선, 변경, 스티커 배치, 빛의 투영 등 차량 주변의 물리적 변경으로 혼돈 유발 – 주변 환경에 대한 오류 정보를 인식하여 오작동 발생 |
| 계획 모듈에 대한 중간자 (Man-in-the-middle) 공격 | – 이동 계획 – 알고리즘 – 차량 기능 | – 헤드유닛(HU)의 원격 취약점을 통해 원격으로 침투 – 차량부품에 변조된 모듈을 삽입하여 인터넷 통신 가로채기 – 중간자 공격(MITM) 통해 정보 탈취, 차량 제어 가능 |
| 정지 신호 감지에 대한 데이터 중독 (Data Poisoning) 공격 | – 의사결정 알고리즘 – 차량 기능 | – 차량 정보전송 다수 발생(불확실성이 높은 상황)을 악용하여 제조업체의 정기적 자율주행차의 AI 모델 업데이트 시 AI 모델 내부에 예기치 않은 동작을 주입 |
| OEM 백엔드 서버 해킹 후 악성 펌웨어를 대규모 유포하는 공격 | – 백엔드시스템 – SW 라이선스 – OTA 업데이트 | – OEM 개발자 등 백엔드 서버의 악성 AI 펌웨어 배포 – AI 모델의 악성 OTA(Over-The-Air) 업데이트 실행 – 신뢰할 수 있는 서버 연결이므로 합법적 요소로 착오 |
| 센서 / 통신 트래픽 혼잡 및 GNSS 스푸핑 공격 | – 소프트웨어 – 통신 시스템 – GNSS | – 무선 네트워크에 다수 트래픽 유발 V2X 통신 방해 – 오류 신호(잘못된 위치 기반 정보)를 방출하여 통신 스푸핑 – 센서 의존 AI 모델에 문제 발생, 차량 사고를 유발 |
나. 자율주행 환경의 AI 공격 시나리오 별 보안성 확보 방안
| 공격 시나리오 | 보안성 확보 방안 | 달성 요소 |
|---|---|---|
| 도로표지판 인식 및 차선 감지 이미지 처리 모델에 대한 악의적 행위 | – 하드웨어 중복 메커니즘 사용 – 다중 센서 중복 데이터 유효성 검사 – 판독 기호 정보 수신위한 V2X 통신 | – 표시 및 통행 기호 인식 – 견고한 AI 모델 설계 – 차량 간 협업 |
| 계획 모듈에 대한 중간자 (Man-in-the-middle) 공격 | – AI와 무관한 사이버 체인 요소 보호 – 악의적 머신러닝 대비 보안 강화 – 하드웨어 중복 메커니즘 사용 | – 민첩한 패치 메커니즘 – 견고한 Machine Learning |
| 정지 신호 감지에 대한 데이터 중독 (Data Poisoning) 공격 | – 악의적 머신러닝 대비 보안 강화 – 하드웨어 중복 메커니즘 사용 – 차량 표지판의 인증 방법 제공 | – 민첩한 패치 메커니즘 – 견고한 Machine Learning |
| OEM 백엔드 서버 해킹 후 악성 펌웨어를 대규모 유포하는 공격 | – 보안 통제와 보안 패치 정기적 평가 – 차량 및 백엔드 수준에서 IDS 배포 – CSIRT 구축, OTA 업데이트 보호 | – AI 입력 검증 메커니즘 – 안전한 부팅 프로세스 – 제품 수명주기 관리 |
| 센서 / 통신 트래픽 혼잡 및 GNSS 스푸핑 공격 | – LSH 등 해시 기반 통신 무결성 보장 – 무선 신호와 센서 정보를 상호 검증 – GPS, V2I 위치정보 유효성 검사 | – AI 시스템의 입력 검증 메커니즘 – 암호화 및 보안 설계 – 안전성 확보 프로토콜 수립 |
- 최근 정부가 발표한 ‘미래자동차 확산 및 시장 선점 전략’에 따른 자율주행차 산업 육성을 위해 기업과 기관에서 대규모 연구개발과 상용화를 위한 자율주행 환경의 AI 보안성 강화 과제 수립 및 달성이 필요
IV. 자율주행차 산업 육성을 위한 자율주행 환경의 AI 보안성 강화 과제와 권고사항
| 구분 | AI 보안성강화과제 | 권고 사항 |
|---|---|---|
| 자율주행차 연구개발 측면 | AI 모델 및 데이터의 체계적 보안 검증 | – AI 모델 사전/사후 모니터링 및 유지관리 절차 수립 – AI 모델 수명주기 전반 구성요소 고려 체계적 위험 평가 |
| 기존 사이버보안과 통합 위한 접근 | – AI 특수성 통합 조직 보안절차 설정 및 AI 개발 보안설계 – 표준화 구성부품 및 동종 AI 솔루션 사용 장려, R&D 촉진 | |
| 자율주행차 상용화 측면 | AI 사이버 보안 관련 공급망 안전성 확보 | – 중소기업 원격근무 컨설팅 지원, 비대면 환경 조성 – 원격근무 솔루션 구축 지원, 공동활용 화상회의실 구축 |
| AI 관련 사고처리 및 취약성 발견/교훈 | – AI 특수성을 고려하여 사고 대응 계획 조정 및 지식 공유 – 보안사고로부터 학습 및 필수 표준 사용, 재난 훈련 시행 |
- 자율주행 환경의 사이버 보안 위해 기존의 사이버보안 방법론과 AI 시스템에 특화된 사이버보안 방법론을 융합하여 효과적 보안 구현이 가능
- 자율주행차에서 필요한 AI 기술에 대한 연구개발 강화와 AI 시스템 관련 위험 요인을 사전에 분석하고 자율주행차 제조과정에서 보안설계를 수행하도록 법제화 추진 필요
[참고]
- 관계부처 합동, 미래자동차 확산 및 시장선점 전략(2020. 10)
- 2021 KISA REPORT, 자율주행차의 AI 시스템에 대한 사이버보안
About The Author
