[태그:] 활성화 함수

1. 어텐션 메커니즘의 개념 및 필요성 개념 seq2seq의 경사감소 소멸(Gradient Descent Vanishing) 등 RNN 모델의 문제 해결을 위해 출력 단어 예측 시점 마다 입력 시퀀스의 단어 가중치를 계산하여 정확도 감소를 보정하는 메커니즘 필요성 어텐션 메커니즘에서 어텐션 함수는 Softmax, Sigmoid, ReLu 함수 등 활성화 함수와 함께 사용하여 입력 시퀀스의 각 단어 가중치 계산 및 예측 벡터

I. 분류와 예측 모형, 인공신경망, ANN 가. 인공신경망의 개념 인간의 뉴런을 모방하여 가중치 조정을 통한 분류와 예측을 위해 다수 노드를 연결한 계층적 조직 나. 인공신경망의 특징 특징 구성요소 예를 통한 학습 – 예를 계속 제시하여 원하는 형태 학습 일반화 – 학습 후 미학습된 입력에도 올바른 출력 연상기억 – 일부 유실된 정보 → 유사한 출력 결함