728x90 반응형 newjeans1 어텐션 메커니즘 (Attention Mechanism) 이해하기 15-01 어텐션 메커니즘 (Attention Mechanism) 앞서 배운 seq2seq 모델은 **인코더**에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축하고, **디코더**는 이 컨텍스트 벡터를 통해서 출력 … wikidocs.net * Won Joon Yoo, Introduction to Deep Learning for Natural Language Processing, Wikidocs 바탕으로 공부 목적으로 아래 글을 작성하였다. RNN에 기반한 seq2seq 모델에는 크게 두 가지 문제가 있다. 1. 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생 2. RNN의 고질적인 문제인 기울기 소실(vanishing gradient) 이를 위한.. 2023. 2. 9. 이전 1 다음 728x90 반응형
