I. Gradient descent vanishing 해결 위한 심층신뢰망
가. 심층신뢰망 (DBN, Deep Belief Network)의 개념
- 입력층과 은닉층으로 구성된 RBM을 블록처럼 여러 층으로 쌓인 형태로 연결된 신경망 (딥러닝의 일종)
- RBM: 제한된 볼츠만 머신(Restricted Boltzmann Machine)
나. 심층신뢰망의 개발 배경
- 피드포워드 신경망에서 신경망의 층 수가 늘어나면서 발생하는 경사감소 소멸(Gradient Descent Vanishing) 문제 해결 필요
다. 심층신뢰망의 특징
| 비지도 학습 | – 결과값없이 입력값으로만 학습 수행 |
| 데이터 부족 | – 학습 데이터가 충분하지 않을 때 유용 |
| 겹층 RBM | – 사전 훈련된 RBM을 층층이 쌓아 만듦 |
- RBM을 기반으로 비지도 학습을 통해 가중치를 근접 값으로 보정하여 마지막 튜닝과정에서 가장 가까운 최종 가중치를 계산하는 방법
II. 심층신뢰망의 구조 및 구성 절차
가. 심층신뢰망의 구조
| – Visible layer 기반으로 여러 층의 RBM (Restricted Boltzmann Machine)을 쌓아 심층신뢰망 구성 |
나. 심층신뢰망 구성 절차
| DBN 구성 절차 | 설명 |
|---|---|
| ① Visible layer와 h1의 첫 RBM(RBM1)의 사전 훈련 ② 첫 번째 층 입력 데이터와 매개 변수 고정하여 두 번째층 RBM2 사전 훈련 ③ 원하는 층 수 만큼 RBM을 쌓아 올려 전체 DBN을 완성 |
- RBM을 이용한 DBN은 HMM 기반, 음성/영상인식기술에 적용
III. HMM 기반 심층신뢰망의 활용
| 활용 사례 | 설명 |
|---|---|
| 확률 모델 이용 음성패턴 인식 | – 음성 특징 벡터 입력 시 해당 단어 판단 – Bayes 이론 기반 사후 확률 추정 – 통계적 패턴인식: 훈련과정 → 인식과정 |
- 단어부터 연속 음성 인식까지 폭넓게 사용되지만, 패턴 인식을 위한 다량의 훈련용 음성 DB 필요