전체 글219 바다나우 어텐션(Bahdanau Attention) 바다나우 어텐션(Bahdanau Attention)은 어텐션 메커니즘 중 하나로, 인코더와 디코더 사이의 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델에서 주로 사용됩니다. 이 어텐션 메커니즘은 루이스 바다나우(Louis Baudouin Nadal Bahdanau) 등에 의해 제안되었습니다. 바다나우 어텐션은 디코더의 현재 상태와 인코더의 각 시점의 출력을 이용하여 어텐션 가중치를 계산합니다. 동작 원리 1. 쿼리(Query), 키(Key), 값(Value) 생성: 입력으로 들어온 디코더의 현재 상태(Query)와 인코더의 각 시점의 출력(Key, Value)을 선형 변환 등을 통해 생성합니다. 2. 유사도 계산: 쿼리(Query)와 키(Key) 간의 유사도를 측정하기 위해 주로 내적(d.. 2024. 1. 15. 닷-프로덕트 어텐션(Dot-Product Attention) 닷-프로덕트 어텐션(Dot-Product Attention)은 어텐션 메커니즘 중 하나로, 주로 인코더-디코더 모델에서 사용되며 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델에 적용됩니다. 이 어텐션 메커니즘은 쿼리(query)와 키(key)의 유사도를 계산할 때 내적(dot product) 연산을 사용합니다. 동작 원리 1. 쿼리(Query), 키(Key), 값(Value) 생성: 입력으로 들어온 쿼리(Query)와 키(Key), 값(Value)을 선형 변환 등을 통해 생성합니다. 보통은 선형 변환을 통해 쿼리(Query), 키(Key), 값(Value)를 얻습니다. 2. 유사도 계산: 쿼리(Query)와 키(Key) 간의 유사도를 측정하기 위해 내적(dot product) 연산을 수행.. 2024. 1. 14. 어텐션(Attention) 주요 요소로 Query(쿼리), Key(키), Value(값) 어텐션(Attention) 메커니즘은 주로 인코더-디코더 구조를 가진 모델에서 사용되며, 디코더의 각 시점에서 인코더의 정보를 가중 평균하여 사용하는 방법입니다. 이때, 주요 요소로 Query(쿼리), Key(키), Value(값)가 사용됩니다. Query(쿼리), Key(키), Value(값) Query(쿼리): 쿼리는 어텐션 메커니즘에서 현재 시점의 디코더 상태나 출력에 대한 정보를 나타냅니다. 보통 디코더의 이전 상태나 이전 출력에 선형 변환(예: 가중치 행렬과의 곱)을 통해 계산됩니다. 어텐션 메커니즘에서 현재 디코더 상태가 어디에 주목해야 할 지 결정하는 역할을 합니다. Key(키): 키는 어텐션을 적용할 대상의 인코더의 정보를 나타냅니다. 주로 인코더의 각 시점의 은닉 상태를 사용하며, 이러한.. 2024. 1. 13. 소프트맥스(softmax) 함수 - 활성화 함수 소프트맥스(softmax) 함수는 주로 분류 문제에서 출력층에서 확률 분포를 나타내는 데 사용되는 활성화 함수입니다. 주로 다중 클래스 분류(classification) 문제에서 확률값을 계산할 때 사용됩니다. 소프트맥스 함수의 개요 입력값과 출력값: 소프트맥스 함수는 입력으로 실수 벡터를 받아 각 요소를 [0, 1] 범위에 있는 실수값으로 변환하여 반환합니다. 또한 소프트맥스 함수의 출력은 모든 요소의 합이 1이 되도록 정규화됩니다. 확률 분포 표현: 주로 다중 클래스 분류 문제에서 모델의 출력층에서 각 클래스에 대한 확률 분포를 표현하는 데 사용됩니다. 이 때, 출력값을 각 클래스에 대한 확률로 해석할 수 있습니다. 소프트맥스 함수의 특징 비선형 함수: 소프트맥스 함수는 비선형 함수로, 복잡한 모델의.. 2024. 1. 12. 이전 1 ··· 9 10 11 12 13 14 15 ··· 55 다음
