NLU (Natural Language Understanding)

I. 인간의 언어 이해, NLU

가. NLU의 개념

인간의 언어 이해 방법을 모방하여 자연어의 어휘/문장/문맥을 이해하는 자연어 이해 기술

나. NLU 방법론 특징

인간 모방– 인간 언어 이해 방법 모방한 자연어 이해
파이프 라인– 어휘 → 구문 → 문맥 차례 인식
하이브리드– 사전 + 패턴 분석, 기계학습

 

II. NLU 구성도 및 처리 절차

가. NLU 구성도

나. NLU 처리 절차

단계절차설명
전처리전처리(파싱)– 문장부호 전처리, 파싱
① 어휘 이해형태소 분석– 음절 기반, 기분석 사전
어휘 인식/분석– 사전/규칙, 기계학습
② 문장 이해구문 분석– 트렌지션, 문장유형기반
의미역 인식– 문장 의미 애매성 해소
③ 문맥 이해상호참조 해결– 대명사 의미 참조 기법
무형대용어 복원– 생략된 단어 복원 기법

 

III. NLU 기술요소

기술요소세부 기술설명
워드 임베딩Word2Vec
CBOW, Skip-gram
– 자연어 단어 벡터화
– 의미 간 거리 차이
문장 분류RNN
LSTM, GRU
– 시계열 데이터 처리
– 긴 문장 학습 어려움
Seq2Seq– Attention
– Encode/Decode
– 자연어 문장 입/출력
– 생각 벡터 기반 출력
MRC– Pointer Network
– Match-LSTM
– 지문 학습, 답변 추론
– 이해→관계파악→답변
  • NLU 기반 문장을 이해하고, 인공지능 연산을 통해 NLG 기반 자연어 생성하여 자연어 처리(NLP) 수행

 

IV. 자연어 심층 이해를 위한 인공지능 기술

AI 기술설명
DNN, CNN– 구조적 분류로 신경망 구조 확장
RNN, LSTM– Vanishing Gradient 문제 해결로 문맥 이해
K-means– 지도 학습으로 학습 자질 제고

 

콘텐츠 사용 시 출처 표기 부탁 드리고, 궁금한 점이나 의견은 댓글 남겨주세요^^