[태그:] 어텐션 메커니즘

1. 파운데이션 모델 (Foundation Model)의 개요 (1) 파운데이션 모델의 개념 개념도 개념 맞춤형 AI 서비스의 효율적 구축을 위해 자기 지도 학습과 트랜스포머 아키텍처 기반 다운스트림 작업을 통해 다양한 AI 모델에 최적화 되도록 준비된 범용 AI 기초 모델 (2) 파운데이션 모델의 특징 구분 특징 특징 설명 학습 측면 자기 지도 학습 – 전이학습 형태로, 데이터의 어노테이션

1. 어텐션 메커니즘의 개념 및 필요성 개념 seq2seq의 경사감소 소멸(Gradient Descent Vanishing) 등 RNN 모델의 문제 해결을 위해 출력 단어 예측 시점 마다 입력 시퀀스의 단어 가중치를 계산하여 정확도 감소를 보정하는 메커니즘 필요성 어텐션 메커니즘에서 어텐션 함수는 Softmax, Sigmoid, ReLu 함수 등 활성화 함수와 함께 사용하여 입력 시퀀스의 각 단어 가중치 계산 및 예측 벡터