2018년 12월 20일

seq2seq

1. 연속 단어의 응답 생성, seq2seq

Encoder 부분에서 입력 응답을 받아 하나의 hidden code 값으로 표현, Decoder에서는 hidden code와 start tag기반 적합한 결과 단어 추출

구성요소	처리 대상	설명
Encoder	– Source Language	– 입력 데이터 수신처리 – 주소 Stacked LSTM 활용
Decoder	– Target Language	– 생성 데이터 출력처리 – 주소 Stacked LSTM 활용

seq2seq는 RNN Cell기반이므로 문장이 길어지면 학습 효율 저하 경향 발생
seq2seq의 경사감소 소멸(Gradient Descent Vanishing) 문제 해결을 위해 어텐션 메커니즘을 사용하여 출력 단어 예측 시점 마다 입력 시퀀스의 단어 가중치를 계산하여 정확도 감소를 보정