X

자연어처리, NLP(Natural Language Processing)

I. 자연어처리 기술, NLP의 개념

  • 기계와 인간 사이의 자연어처리 대화형 플랫폼 적용을 위해 자연 언어를 분석하고 생성하는 음성 변환, 언어 처리, 대화 관리 기술

 

II. NLP의 처리 구조 및 기술 요소

가. NLP의 처리 구조

나. NLP의 기술 요소

구분 기술 요소 세부 구현 기술
음성 변환 STT (Speech-to-Text) – 4KHz 음성신호를 문자(Text)로 변환
– 가우시안 필터, 특징추출, 디코더
TTS (Text-to-Speech) – 문자(Text)를 자연어 음파로 변환
– 분절음 diphone, 텍스트 음소 변환
언어 처리 NLU (Natural Language Understanding) – 자연어 어휘/문장/문맥 패턴기반 이해
– 형태소/구분 분석, Word Embedding, Word2Vec
NLG (Natural Language Generation) – 기계적 표현을 자연어 기반 문장 생성
– 자연어 표현생성, 후보 문장 비교/선택
대화 관리 머신 러닝 대화 관리 – 통계와 패턴 기반 대화 관리
RNN, LSTM, Seq2Seq
규칙 기반 대화 관리 – 규칙 기반 정확성 높으나 범용성 저하
– 개별 규칙 생성, 대화DB, Syllabus

 

III. NLP 적용 시 문제점 및 고려사항

문제점 대응 방안
부정확한 음성 신호에 따른 음성 인식 실패 RNN 등 시간적 의미 패턴으로 문장 인식 정확도 향상
대량의 실시간 음성 기반 질의응답 지연 발생 In-Memory, MEC 기반 음성변환 및 언어처리 고속화
학습 데이터 부족으로 통계 부족, 정확도 저하 규칙 기반 대화DB 병행 활용하여 학습 초반 정확도 향상
  • 한국어의 경우, 어근 + 접사로 의미와 문법적 기능이 부여되므로 단어 보다 문장, 문맥기반 패턴화가 필요

 
[참고]

  • Wikipedia, “Natural language processing”, 2019. 10
Categories: 디지털서비스
도리: