키1 어텐션(Attention) 주요 요소로 Query(쿼리), Key(키), Value(값) 어텐션(Attention) 메커니즘은 주로 인코더-디코더 구조를 가진 모델에서 사용되며, 디코더의 각 시점에서 인코더의 정보를 가중 평균하여 사용하는 방법입니다. 이때, 주요 요소로 Query(쿼리), Key(키), Value(값)가 사용됩니다. Query(쿼리), Key(키), Value(값) Query(쿼리): 쿼리는 어텐션 메커니즘에서 현재 시점의 디코더 상태나 출력에 대한 정보를 나타냅니다. 보통 디코더의 이전 상태나 이전 출력에 선형 변환(예: 가중치 행렬과의 곱)을 통해 계산됩니다. 어텐션 메커니즘에서 현재 디코더 상태가 어디에 주목해야 할 지 결정하는 역할을 합니다. Key(키): 키는 어텐션을 적용할 대상의 인코더의 정보를 나타냅니다. 주로 인코더의 각 시점의 은닉 상태를 사용하며, 이러한.. 2024. 1. 13. 이전 1 다음
