차원 축소2 닷-프로덕트 어텐션(Dot-Product Attention) 닷-프로덕트 어텐션(Dot-Product Attention)은 어텐션 메커니즘 중 하나로, 주로 인코더-디코더 모델에서 사용되며 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델에 적용됩니다. 이 어텐션 메커니즘은 쿼리(query)와 키(key)의 유사도를 계산할 때 내적(dot product) 연산을 사용합니다. 동작 원리 1. 쿼리(Query), 키(Key), 값(Value) 생성: 입력으로 들어온 쿼리(Query)와 키(Key), 값(Value)을 선형 변환 등을 통해 생성합니다. 보통은 선형 변환을 통해 쿼리(Query), 키(Key), 값(Value)를 얻습니다. 2. 유사도 계산: 쿼리(Query)와 키(Key) 간의 유사도를 측정하기 위해 내적(dot product) 연산을 수행.. 2024. 1. 14. SOM(자기 조직화 지도, Self-Organizing Map) SOM(자기 조직화 지도, Self-Organizing Map)은 신경망 알고리즘 중 하나로, 비지도 학습(Unsupervised Learning) 방법 중의 하나입니다. SOM은 데이터를 저차원 그리드에 효율적으로 매핑하는 데 사용되며, 데이터의 유사성을 보존하면서 데이터를 시각화하거나 클러스터링 하는 데 유용합니다. 다음으로 SOM에 대해 자세히 설명해 보겠습니다. 1. SOM의 동작 방식: SOM은 2차원 또는 1차원 그리드로 구성된 뉴런 또는 노드의 네트워크로 생각할 수 있습니다. 각 노드는 가중치 벡터와 연결되어 있으며, 이 가중치 벡터는 입력 데이터 공간과 매핑된다. 초기에는 가중치가 무작위로 설정됩니다. 2. 학습 단골: SOM의 핵심 아이디어는 경쟁적 학습과 자기 조직화입니다. 입력 데이터.. 2023. 11. 11. 이전 1 다음
