2019년 1월 18일
멀티 모달 (Multi Modal)
I. 오감 인터넷, 멀티 모달
가. 멀티 모달의 개념
- 인터넷 환경에서 센서 정보 등 다양한 입력 요소를 통해 상호간 통신하는 인간 중심형 인터페이스 기술
나. 오감 별 센서종류 및 정보전송 방법
| 오감 | 센서 종류 | 정보 전송 방법 |
|---|---|---|
| 시각 | 광 센서 | 광 전도 소자, 이미지 센서, 카메라 |
| 청각 | 음향 센서 | 마이크로폰, 압전 소자, 진동자 |
| 촉각 | 진동, 온도, 압력 | 적외선, 신체 측정, 반도체 압력 센서 |
| 미각 | 맛 센서 | 백금, 반도체, 입자, 가스 센서 |
| 후각 | 화학(냄새) 센서 | 바이오 케미컬 소자, 입자 센서 |
II. 멀티 모달 인터페이스 역할
| 역할 | 설명 | 핵심 모듈 |
|---|---|---|
| 입력 처리 | 다양한 입력 요소로부터 인식하여 통신 가능한 형태로 변환 | 인식, 해석, 통합 모듈 |
| 출력 처리 | 필요한 형태의 결과물을 해당 스펙에 맞게 변환하여 출력 | 생성, 스카일, 랜더링 모듈 |
| 인터랙션 관리 | 입력 요소에서 얻은 정보로 서비스 수행 후 결과를 출력 요소에 제공 | 인터랙션 관리 모듈 |
| 세션 관리 | 다양한 단말 사용, 세션 연속 유지, 멀티모달 서비스와 지속 연결, 싱크 | 세션 관리 모듈 |
| 환경 관리 | 주변 상황에 따라 다양한 단말을 변화할 수 있도록 환경을 표현 | 시스템 환경 관리 모듈 |
| 응용서비스 실행 요소 | 시스템 구현상 서비스 가능한형태로 실행 위한 기능 제공 | 어플리케이션 서비스 모듈 |
| 상황 인지 | 다양한 입출력 수단 활용으로 사용자 의도와 주변 상황 인지 | |
| 개인화 엔진 | 여러 입력정보가 갖는 부분 정보 통합하여 사용자 의도 파악 | |
| SMMD | – Single Media Multi Device 다양한 형태 입출력 수단 의사소통 | |
| 다양한 통신 | 다양한 무선 네트워크 통신 WPAN, WBAN, WMAN 등 |
III. 멀티 모달 인터페이스 종류
| 구분 | 종류 | 설명 | 기술 |
|---|---|---|---|
| 기본 | 음성I/F | 음성 입력 → 기계 입력 기계 출력 → 음성 출력 | 음성 인식 음성 합성 |
| 키보드I/F | 키보드를 통합 인식 기술 | 키보드 기술 | |
| 잉크 I/F | 펜 글씨 및 그림 표시 기능 | 펜 필체인식 | |
| 확장 | NUI | 제어장치없이 감각, 행동 인지 능력 통해 직접 교감 | 디지털기기 제어 기술 |
| TUI | 실세계 사물 이용 디지털 정보와 상호작용 구현 | 제함경 인터페이스 기술 | |
| Wearable HCI | 착용감, 항시성, 안정성, 사회성 반영 착용형 컴퓨팅 | HMD, 포스 터치, 모션 | |
| 감성인식 | 사용자 시각, 청각, 촉각 자극 모바일 가전기기와 교감 | 패더스, 컴저트 봇 | |
| HRI | 로봇이 인간의 의도를 파악하고 적합 반응과 행동 수행 | 언굴인식, 제스처, TTS | |
| 음성인식 | 마이크, 전화이용 음향학적 신호를 단어, 문장으로 변환 | 특징추출, 잡음처리 |
IV. 오감기술 및 적용 가능성
About The Author
