[태그:] Transformer

1. 어텐션 메커니즘의 개념 및 필요성 개념 seq2seq의 경사감소 소멸(Gradient Descent Vanishing) 등 RNN 모델의 문제 해결을 위해 출력 단어 예측 시점 마다 입력 시퀀스의 단어 가중치를 계산하여 정확도 감소를 보정하는 메커니즘 필요성 어텐션 메커니즘에서 어텐션 함수는 Softmax, Sigmoid, ReLu 함수 등 활성화 함수와 함께 사용하여 입력 시퀀스의 각 단어 가중치 계산 및 예측 벡터

1. GNN (Graph Neural Network)의 개요 등장 배경 딥러닝 모델은 CNN, RNN, Transformer 등 다양한 신경망 모델 종류로 발전했지만, 복잡한 구조나 관계 임베딩의 한계로 인해 그래프(Graph) 기반 신경망 모델 등장 개념 데이터의 특징 추출을 위해 이웃 노드 간 정보를 이용하여 특징 벡터를 찾아내는 그래프(Graph) 기반 신경망 모델 특징 추상적 개념 접근에 용이 연결된 데이터 표현