심층신뢰망 (DBN, Deep Belief Network)

I. Gradient descent vanishing 해결 위한 심층신뢰망

가. 심층신뢰망 (DBN, Deep Belief Network)의 개념

  • 입력층과 은닉층으로 구성된 RBM을 블록처럼 여러 층으로 쌓인 형태로 연결된 신경망 (딥러닝의 일종)
  • RBM: 제한된 볼츠만 머신(Restricted Boltzmann Machine)

나. 심층신뢰망의 개발 배경

  • 피드포워드 신경망에서 신경망의 층 수가 늘어나면서 발생하는 경사감소 소멸(Gradient Descent Vanishing) 문제 해결 필요

다. 심층신뢰망의 특징

비지도 학습– 결과값없이 입력값으로만 학습 수행
데이터 부족– 학습 데이터가 충분하지 않을 때 유용
겹층 RBM– 사전 훈련된 RBM을 층층이 쌓아 만듦
  • RBM을 기반으로 비지도 학습을 통해 가중치를 근접 값으로 보정하여 마지막 튜닝과정에서 가장 가까운 최종 가중치를 계산하는 방법

 

II. 심층신뢰망의 구조 및 구성 절차

가. 심층신뢰망의 구조

– Visible layer 기반으로 여러 층의 RBM (Restricted Boltzmann Machine)을 쌓아 심층신뢰망 구성

나. 심층신뢰망 구성 절차

DBN 구성 절차설명
① Visible layer와 h1의 첫 RBM(RBM1)의 사전 훈련
② 첫 번째 층 입력 데이터와 매개 변수 고정하여 두 번째층 RBM2 사전 훈련
③ 원하는 층 수 만큼 RBM을 쌓아 올려 전체 DBN을 완성
  • RBM을 이용한 DBN은 HMM 기반, 음성/영상인식기술에 적용

 

III. HMM 기반 심층신뢰망의 활용

활용 사례설명
확률 모델 이용
음성패턴 인식
– 음성 특징 벡터 입력 시 해당 단어 판단
– Bayes 이론 기반 사후 확률 추정
– 통계적 패턴인식: 훈련과정 → 인식과정
  • 단어부터 연속 음성 인식까지 폭넓게 사용되지만, 패턴 인식을 위한 다량의 훈련용 음성 DB 필요

콘텐츠 사용 시 출처 표기 부탁 드리고, 궁금한 점이나 의견은 댓글 남겨주세요^^