본문 바로가기

빅데이터 분석기사,ADsP와 ADP158

어텐션(Attention) 주요 요소로 Query(쿼리), Key(키), Value(값) 어텐션(Attention) 메커니즘은 주로 인코더-디코더 구조를 가진 모델에서 사용되며, 디코더의 각 시점에서 인코더의 정보를 가중 평균하여 사용하는 방법입니다. 이때, 주요 요소로 Query(쿼리), Key(키), Value(값)가 사용됩니다. Query(쿼리), Key(키), Value(값) Query(쿼리): 쿼리는 어텐션 메커니즘에서 현재 시점의 디코더 상태나 출력에 대한 정보를 나타냅니다. 보통 디코더의 이전 상태나 이전 출력에 선형 변환(예: 가중치 행렬과의 곱)을 통해 계산됩니다. 어텐션 메커니즘에서 현재 디코더 상태가 어디에 주목해야 할 지 결정하는 역할을 합니다. Key(키): 키는 어텐션을 적용할 대상의 인코더의 정보를 나타냅니다. 주로 인코더의 각 시점의 은닉 상태를 사용하며, 이러한.. 2024. 1. 13.
소프트맥스(softmax) 함수 - 활성화 함수 소프트맥스(softmax) 함수는 주로 분류 문제에서 출력층에서 확률 분포를 나타내는 데 사용되는 활성화 함수입니다. 주로 다중 클래스 분류(classification) 문제에서 확률값을 계산할 때 사용됩니다. 소프트맥스 함수의 개요 입력값과 출력값: 소프트맥스 함수는 입력으로 실수 벡터를 받아 각 요소를 [0, 1] 범위에 있는 실수값으로 변환하여 반환합니다. 또한 소프트맥스 함수의 출력은 모든 요소의 합이 1이 되도록 정규화됩니다. 확률 분포 표현: 주로 다중 클래스 분류 문제에서 모델의 출력층에서 각 클래스에 대한 확률 분포를 표현하는 데 사용됩니다. 이 때, 출력값을 각 클래스에 대한 확률로 해석할 수 있습니다. 소프트맥스 함수의 특징 비선형 함수: 소프트맥스 함수는 비선형 함수로, 복잡한 모델의.. 2024. 1. 12.
벡터(Vector)의 개념 벡터(Vector)는 수량적 크기와 방향을 모두 가지는 수학적 개념입니다. 이는 공간에서의 한 점을 나타내거나, 수학적으로 다양한 계산을 할 수 있도록 도와주는 중요한 도구입니다. 벡터의 특징 1. 크기와 방향: 벡터는 크기와 방향을 가지며, 화살표로 표시할 수 있습니다. 화살표의 길이는 벡터의 크기를 나타내고, 방향은 벡터가 가리키는 방향을 의미합니다. 2. 수학적 표현: 일반적으로 좌표 공간에서는 벡터는 좌표의 집합으로 표현됩니다. 2차원에서는 (x, y), 3차원에서는 (x, y, z)와 같이 좌표로 나타낼 수 있습니다. 3. 벡터 연산: 벡터는 다양한 연산이 가능합니다. 덧셈, 뺄셈, 스칼라 곱, 벡터 곱셈 등의 연산을 수행할 수 있습니다. 덧셈과 뺄셈은 벡터 간의 크기와 방향을 결합하여 새로운 .. 2024. 1. 11.
Encoder-Decoder 아키텍처 - 딥러닝 모델 구조 Encoder-Decoder 아키텍처는 주로 기계 번역 및 자연어처리 작업에서 사용되는 딥러닝 모델 구조입니다. 이 구조는 입력 시퀀스를 고정된 크기의 벡터로 인코딩하고, 이 벡터를 기반으로 출력 시퀀스를 디코딩하는 데 사용됩니다. Encoder-Decoder 구조 Encoder(인코더): 입력 처리: 입력 시퀀스를 단어, 문장 또는 문서와 같은 표현으로 처리합니다. 인코딩: 입력 시퀀스의 정보를 캡처하여 고정된 크기의 벡터 표현으로 변환합니다. 콘텍스트 벡터(Context Vector): 입력 시퀀스의 의미와 정보를 담은 벡터를 생성합니다. RNN, CNN, Self-Attention 등 사용: 주로 순환 신경망(RNN), 합성곱 신경망(CNN), Self-Attention 등이 인코더로 사용됩니다. .. 2024. 1. 10.

티스토리툴바