I. 인간의 언어 이해, NLU
가. NLU의 개념
인간의 언어 이해 방법을 모방하여 자연어의 어휘/문장/문맥을 이해하는 자연어 이해 기술
나. NLU 방법론 특징
| 인간 모방 | – 인간 언어 이해 방법 모방한 자연어 이해 |
| 파이프 라인 | – 어휘 → 구문 → 문맥 차례 인식 |
| 하이브리드 | – 사전 + 패턴 분석, 기계학습 |
II. NLU 구성도 및 처리 절차
가. NLU 구성도
나. NLU 처리 절차
| 단계 | 절차 | 설명 |
|---|---|---|
| 전처리 | 전처리(파싱) | – 문장부호 전처리, 파싱 |
| ① 어휘 이해 | 형태소 분석 | – 음절 기반, 기분석 사전 |
| 어휘 인식/분석 | – 사전/규칙, 기계학습 | |
| ② 문장 이해 | 구문 분석 | – 트렌지션, 문장유형기반 |
| 의미역 인식 | – 문장 의미 애매성 해소 | |
| ③ 문맥 이해 | 상호참조 해결 | – 대명사 의미 참조 기법 |
| 무형대용어 복원 | – 생략된 단어 복원 기법 |
III. NLU 기술요소
| 기술요소 | 세부 기술 | 설명 |
|---|---|---|
| 워드 임베딩 | – Word2Vec – CBOW, Skip-gram | – 자연어 단어 벡터화 – 의미 간 거리 차이 |
| 문장 분류 | – RNN – LSTM, GRU | – 시계열 데이터 처리 – 긴 문장 학습 어려움 |
| Seq2Seq | – Attention – Encode/Decode | – 자연어 문장 입/출력 – 생각 벡터 기반 출력 |
| MRC | – Pointer Network – Match-LSTM | – 지문 학습, 답변 추론 – 이해→관계파악→답변 |
IV. 자연어 심층 이해를 위한 인공지능 기술
| AI 기술 | 설명 |
|---|---|
| DNN, CNN | – 구조적 분류로 신경망 구조 확장 |
| RNN, LSTM | – Vanishing Gradient 문제 해결로 문맥 이해 |
| K-means | – 지도 학습으로 학습 자질 제고 |