교차 참조1 바다나우 어텐션(Bahdanau Attention) 바다나우 어텐션(Bahdanau Attention)은 어텐션 메커니즘 중 하나로, 인코더와 디코더 사이의 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델에서 주로 사용됩니다. 이 어텐션 메커니즘은 루이스 바다나우(Louis Baudouin Nadal Bahdanau) 등에 의해 제안되었습니다. 바다나우 어텐션은 디코더의 현재 상태와 인코더의 각 시점의 출력을 이용하여 어텐션 가중치를 계산합니다. 동작 원리 1. 쿼리(Query), 키(Key), 값(Value) 생성: 입력으로 들어온 디코더의 현재 상태(Query)와 인코더의 각 시점의 출력(Key, Value)을 선형 변환 등을 통해 생성합니다. 2. 유사도 계산: 쿼리(Query)와 키(Key) 간의 유사도를 측정하기 위해 주로 내적(d.. 2024. 1. 15. 이전 1 다음
