Dot-Product Attention1 닷-프로덕트 어텐션(Dot-Product Attention) 닷-프로덕트 어텐션(Dot-Product Attention)은 어텐션 메커니즘 중 하나로, 주로 인코더-디코더 모델에서 사용되며 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델에 적용됩니다. 이 어텐션 메커니즘은 쿼리(query)와 키(key)의 유사도를 계산할 때 내적(dot product) 연산을 사용합니다. 동작 원리 1. 쿼리(Query), 키(Key), 값(Value) 생성: 입력으로 들어온 쿼리(Query)와 키(Key), 값(Value)을 선형 변환 등을 통해 생성합니다. 보통은 선형 변환을 통해 쿼리(Query), 키(Key), 값(Value)를 얻습니다. 2. 유사도 계산: 쿼리(Query)와 키(Key) 간의 유사도를 측정하기 위해 내적(dot product) 연산을 수행.. 2024. 1. 14. 이전 1 다음
