2019년 10월 31일
자연어처리, NLP(Natural Language Processing)
I. 자연어처리 기술, NLP의 개념
- 기계와 인간 사이의 자연어처리 대화형 플랫폼 적용을 위해 자연 언어를 분석하고 생성하는 음성 변환, 언어 처리, 대화 관리 기술
II. NLP의 처리 구조 및 기술 요소
가. NLP의 처리 구조
 |
나. NLP의 기술 요소
| 구분 | 기술 요소 | 세부 구현 기술 |
|---|---|---|
| 음성 변환 | STT (Speech-to-Text) | – 4KHz 음성신호를 문자(Text)로 변환 – 가우시안 필터, 특징추출, 디코더 |
| TTS (Text-to-Speech) | – 문자(Text)를 자연어 음파로 변환 – 분절음 diphone, 텍스트 음소 변환 | |
| 언어 처리 | NLU (Natural Language Understanding) | – 자연어 어휘/문장/문맥 패턴기반 이해 – 형태소/구분 분석, Word Embedding, Word2Vec |
| NLG (Natural Language Generation) | – 기계적 표현을 자연어 기반 문장 생성 – 자연어 표현생성, 후보 문장 비교/선택 | |
| 대화 관리 | 머신 러닝 대화 관리 | – 통계와 패턴 기반 대화 관리 – RNN, LSTM, Seq2Seq |
| 규칙 기반 대화 관리 | – 규칙 기반 정확성 높으나 범용성 저하 – 개별 규칙 생성, 대화DB, Syllabus |
- 인간 사용하는 음성 기반 챗봇, RPA, 지능형 로봇, 자율주행차, 스마트팩토리 등 다양한 산업과 기술에 자연어처리 대화형 플랫폼 활용
III. NLP 적용 시 문제점 및 고려사항
| 문제점 | 대응 방안 |
|---|---|
| 부정확한 음성 신호에 따른 음성 인식 실패 | RNN 등 시간적 의미 패턴으로 문장 인식 정확도 향상 |
| 대량의 실시간 음성 기반 질의응답 지연 발생 | In-Memory, MEC 기반 음성변환 및 언어처리 고속화 |
| 학습 데이터 부족으로 통계 부족, 정확도 저하 | 규칙 기반 대화DB 병행 활용하여 학습 초반 정확도 향상 |
- 한국어의 경우, 어근 + 접사로 의미와 문법적 기능이 부여되므로 단어 보다 문장, 문맥기반 패턴화가 필요
[참고]
- Wikipedia, “Natural language processing”, 2019. 10
About The Author
