[태그:] 셀 스테이트

I. RNN 장기 의존성 문제 개선, LSTM 가. LSTM의 개념 개념도 개념 순환신경망의 장기 의존성 문제 해결하기 위해 셀 스테이트 기반 신경망 모델 나. 순환신경망의 장기 의존성 문제 RNN은 매번 Step마다 위 과정을 반복, 역전파 시 더 많은 곱셈 연산에 따른 경사 감소로 뒤 노드까지 영향 불가 Step t에서의 hidden layer : ht(ht-1Whh)Whh   II.

I. 순환 신경망, RNN 가. RNN (Recurrent Neural Network)의 개념 음성인식, 자연어 등 현재 입력 데이터와 과거 데이터를 고려하여 순차 데이터를 처리하는 순환 신경망 모델 나. RNN의 특징 과거-미래 영향 구조 – 루프 구조를 통해 과거의 데이터가 미래에 영향을 줄 수 있는 구조 경사 하강법 – 함수의 기울기로 최소값 탐색 알고리즘 – 2, 3차원 알고리즘