자연어처리, NLP(Natural Language Processing)

I. 자연어처리 기술, NLP의 개념

 

II. NLP의 처리 구조 및 기술 요소

가. NLP의 처리 구조

나. NLP의 기술 요소

구분기술 요소세부 구현 기술
음성 변환STT (Speech-to-Text)– 4KHz 음성신호를 문자(Text)로 변환
– 가우시안 필터, 특징추출, 디코더
TTS (Text-to-Speech)– 문자(Text)를 자연어 음파로 변환
– 분절음 diphone, 텍스트 음소 변환
언어 처리NLU (Natural Language Understanding)– 자연어 어휘/문장/문맥 패턴기반 이해
– 형태소/구분 분석, Word Embedding, Word2Vec
NLG (Natural Language Generation)– 기계적 표현을 자연어 기반 문장 생성
– 자연어 표현생성, 후보 문장 비교/선택
대화 관리머신 러닝 대화 관리– 통계와 패턴 기반 대화 관리
RNN, LSTM, Seq2Seq
규칙 기반 대화 관리– 규칙 기반 정확성 높으나 범용성 저하
– 개별 규칙 생성, 대화DB, Syllabus

 

III. NLP 적용 시 문제점 및 고려사항

문제점대응 방안
부정확한 음성 신호에 따른 음성 인식 실패RNN 등 시간적 의미 패턴으로 문장 인식 정확도 향상
대량의 실시간 음성 기반 질의응답 지연 발생In-Memory, MEC 기반 음성변환 및 언어처리 고속화
학습 데이터 부족으로 통계 부족, 정확도 저하규칙 기반 대화DB 병행 활용하여 학습 초반 정확도 향상
  • 한국어의 경우, 어근 + 접사로 의미와 문법적 기능이 부여되므로 단어 보다 문장, 문맥기반 패턴화가 필요

 
[참고]

  • Wikipedia, “Natural language processing”, 2019. 10

콘텐츠 사용 시 출처 표기 부탁 드리고, 궁금한 점이나 의견은 댓글 남겨주세요^^