멀티 모달 (Multi Modal)

I. 오감 인터넷, 멀티 모달

가. 멀티 모달의 개념

  • 인터넷 환경에서 센서 정보 등 다양한 입력 요소를 통해 상호간 통신하는 인간 중심형 인터페이스 기술

나. 오감 별 센서종류 및 정보전송 방법

오감센서 종류정보 전송 방법
시각광 센서광 전도 소자, 이미지 센서, 카메라
청각음향 센서마이크로폰, 압전 소자, 진동자
촉각진동, 온도, 압력적외선, 신체 측정, 반도체 압력 센서
미각맛 센서백금, 반도체, 입자, 가스 센서
후각화학(냄새) 센서바이오 케미컬 소자, 입자 센서

 

II. 멀티 모달 인터페이스 역할

역할설명핵심 모듈
입력 처리다양한 입력 요소로부터 인식하여 통신 가능한 형태로 변환인식, 해석,
통합 모듈
출력 처리필요한 형태의 결과물을 해당 스펙에 맞게 변환하여 출력생성, 스카일, 랜더링 모듈
인터랙션
관리
입력 요소에서 얻은 정보로 서비스 수행 후 결과를 출력 요소에 제공인터랙션 관리 모듈
세션 관리다양한 단말 사용, 세션 연속 유지, 멀티모달 서비스와 지속 연결, 싱크세션 관리 모듈
환경 관리주변 상황에 따라 다양한 단말을 변화할 수 있도록 환경을 표현시스템 환경 관리 모듈
응용서비스
실행 요소
시스템 구현상 서비스 가능한형태로 실행 위한 기능 제공어플리케이션
서비스 모듈
상황 인지다양한 입출력 수단 활용으로 사용자 의도와 주변 상황 인지 
개인화
엔진
여러 입력정보가 갖는 부분 정보 통합하여 사용자 의도 파악 
SMMD– Single Media Multi Device
다양한 형태 입출력 수단 의사소통
 
다양한
통신
다양한 무선 네트워크 통신
WPAN, WBAN, WMAN 등
 

 

III. 멀티 모달 인터페이스 종류

구분종류설명기술
기본음성I/F음성 입력 → 기계 입력
기계 출력 → 음성 출력
음성 인식
음성 합성
키보드I/F키보드를 통합 인식 기술키보드 기술
잉크 I/F펜 글씨 및 그림 표시 기능펜 필체인식
확장NUI제어장치없이 감각, 행동 인지 능력 통해 직접 교감디지털기기
제어 기술
TUI실세계 사물 이용 디지털 정보와 상호작용 구현제함경 인터페이스 기술
Wearable
HCI
착용감, 항시성, 안정성, 사회성 반영 착용형 컴퓨팅HMD, 포스 터치, 모션
감성인식사용자 시각, 청각, 촉각 자극 모바일 가전기기와 교감패더스, 컴저트 봇
HRI로봇이 인간의 의도를 파악하고 적합 반응과 행동 수행언굴인식, 제스처, TTS
음성인식마이크, 전화이용 음향학적 신호를 단어, 문장으로 변환특징추출, 잡음처리

 

IV. 오감기술 및 적용 가능성

콘텐츠 사용 시 출처 표기 부탁 드리고, 댓글은 큰 힘이 됩니다^^