엣지 AI (Edge AI)

1. 단말 장치 자체 AI 서비스, 엣지 AI (Edge AI)의 개념

개념도개념
IoT, 모바일 장치 등 단말 장치의 신속한 인공지능 서비스를 위해 단말 장치에서 생성한 데이터로 AI 알고리즘을 직접 실행하는 분산형 컴퓨팅 패러다임
  • 단말장치에서 데이터생성과 AI 알고리즘 처리를 지원하므로 AI 모델 업데이트 시에만 중앙서버 연결, 온디바이스 AI(On-Device AI) 방식이 대표적

 

2. 엣지 AI 구현 메커니즘 및 주요 기술

(1) 엣지 AI 구현 메커니즘

메커니즘구현 절차
① CPU 유형, RAM/ROM 크기, 주변 디바이스, 기본 소프트웨어 등 디바이스 정보 수집
② 적합한 머신러닝 컴파일러 선택 및 모델 저장소에서 AI 모델 다운로드
③ 매개변수 기반 컴파일된 머신러닝 추론 모듈 생성
④ 생성된 머신러닝 추론 모듈 배포, 디바이스에서 배포된 모듈 기반 AI 알고리즘 실행
  • 엣지 AI 구현 위해 클라우드 및 중앙 서버에서 AI 모델 업데이트 이후 디바이스 자체 AI 알고리즘 실행

(2) 엣지 AI의 주요 기술

구분주요 기술기능 및 세부 기술
엣지 AI
기반 기술
엣지 AI 프레임워크– 단말 장치용 초소형 엣지 머신러닝 모델 개발 프레임워크
TensorFlow Lite, Embedded Learning Library, ARM-NN 등
AutoML– 데이터 준비, 모델 생성, 모델 평가 등 주요 단계 자동화
– AutoKeras, Edge Impulse, NNI(NeuralNetworkIntelligence)
단말 장치 AI
모델 압축
모델 양자화– 모델 파라미터 크기나 연산 수 최소화 위한 가중치 정밀화
– 신경망 가중치 이진화(Binarization), int4/int2 변환 등
인지형 가지치기– 낮은 중요도 및 중복되는 뉴런 제거를 통한 압축 모델 생성
– 필터/채널 제거(구조적), 개별 가중치 선택(비구조적)
인지형 NAS (Neural Architecture Search)– 대상 H/W 특성 기반 최적 성능 적응형 신경망 설계 자동화
– 지연시간, 전력소비 등 성능지표와 정확도 간 균형모델설계
엣지 AI
적용 /운영
엣지 AI 모델 컴파일– 코드 최적화, H/W 파편화에 따른 명령어 세트 대응 컴파일
– NET-C, TensorFlow XLA, ONNC, nGraph,Glow,TVM,PlaidML
MLOps– 무중단 업데이트, 지속 전달 및 피드백 루프 배포주기 조정
– 머신러닝CI/CD파이프라인에 CT(Continuous Training)추가
  • AI 서비스는 네트워크 코어에서 엣지로 꾸준히 이동하고 있어 초소형 디바이스 지능화를 위한 머신러닝 기술이 발전되고 있으나 하드웨어 파편화 및 성능 제약에 따라 클라우드/중앙집중형 AI와 상호 보완 필요

 

3. 엣지 AI와 클라우드/중앙집중형 AI 비교

비교 항목엣지 AI클라우드/중앙집중형 AI
AI 알고리즘 실행 위치로컬 컴퓨터, 임베디드 시스템클라우드, 중앙 서버
AI 서비스 공급자하드웨어 공급자 중심
(System-On-Chip)
소프트웨어 공급자 중심
AI 모델 생성 목표모델 최소화,
성능과 정확도 간 균형
모델 최적화,
정확도에 중점
장점지연시간 감소,
오프라인 가용성 확보
서비스 접근성,
운영 효율성 제고
한계점하드웨어 파편화,
성능 및 AI모델 제약
통신 인프라 의존,
개인정보 보호 이슈
  • 엣지 AI는 정보보호, 지연시간 절감, 오프라인 가용성 확보 등의 장점이 있지만 AI 모델 적용 및 디바이스 사양에 따른 한계가 존재하므로 클라우드/중앙집중형 AI와 상호 보완하는 형태로 발전 예상

 
[참고]

  • 한국전자통신연구원(ETRI), “서비스형 엣지 머신러닝 기술 동향”
  • 정보통신정책연구원(KISDI), “클라우드 기반 AI에 대한 엣지 AI의 도전과 영향”

콘텐츠 사용 시 출처 표기 부탁 드리고, 댓글은 큰 힘이 됩니다^^