본문 바로가기

전체 글212

소프트맥스(softmax) 함수 - 활성화 함수 소프트맥스(softmax) 함수는 주로 분류 문제에서 출력층에서 확률 분포를 나타내는 데 사용되는 활성화 함수입니다. 주로 다중 클래스 분류(classification) 문제에서 확률값을 계산할 때 사용됩니다. 소프트맥스 함수의 개요 입력값과 출력값: 소프트맥스 함수는 입력으로 실수 벡터를 받아 각 요소를 [0, 1] 범위에 있는 실수값으로 변환하여 반환합니다. 또한 소프트맥스 함수의 출력은 모든 요소의 합이 1이 되도록 정규화됩니다. 확률 분포 표현: 주로 다중 클래스 분류 문제에서 모델의 출력층에서 각 클래스에 대한 확률 분포를 표현하는 데 사용됩니다. 이 때, 출력값을 각 클래스에 대한 확률로 해석할 수 있습니다. 소프트맥스 함수의 특징 비선형 함수: 소프트맥스 함수는 비선형 함수로, 복잡한 모델의.. 2024. 1. 12.
벡터(Vector)의 개념 벡터(Vector)는 수량적 크기와 방향을 모두 가지는 수학적 개념입니다. 이는 공간에서의 한 점을 나타내거나, 수학적으로 다양한 계산을 할 수 있도록 도와주는 중요한 도구입니다. 벡터의 특징 1. 크기와 방향: 벡터는 크기와 방향을 가지며, 화살표로 표시할 수 있습니다. 화살표의 길이는 벡터의 크기를 나타내고, 방향은 벡터가 가리키는 방향을 의미합니다. 2. 수학적 표현: 일반적으로 좌표 공간에서는 벡터는 좌표의 집합으로 표현됩니다. 2차원에서는 (x, y), 3차원에서는 (x, y, z)와 같이 좌표로 나타낼 수 있습니다. 3. 벡터 연산: 벡터는 다양한 연산이 가능합니다. 덧셈, 뺄셈, 스칼라 곱, 벡터 곱셈 등의 연산을 수행할 수 있습니다. 덧셈과 뺄셈은 벡터 간의 크기와 방향을 결합하여 새로운 .. 2024. 1. 11.
Encoder-Decoder 아키텍처 - 딥러닝 모델 구조 Encoder-Decoder 아키텍처는 주로 기계 번역 및 자연어처리 작업에서 사용되는 딥러닝 모델 구조입니다. 이 구조는 입력 시퀀스를 고정된 크기의 벡터로 인코딩하고, 이 벡터를 기반으로 출력 시퀀스를 디코딩하는 데 사용됩니다. Encoder-Decoder 구조 Encoder(인코더): 입력 처리: 입력 시퀀스를 단어, 문장 또는 문서와 같은 표현으로 처리합니다. 인코딩: 입력 시퀀스의 정보를 캡처하여 고정된 크기의 벡터 표현으로 변환합니다. 콘텍스트 벡터(Context Vector): 입력 시퀀스의 의미와 정보를 담은 벡터를 생성합니다. RNN, CNN, Self-Attention 등 사용: 주로 순환 신경망(RNN), 합성곱 신경망(CNN), Self-Attention 등이 인코더로 사용됩니다. .. 2024. 1. 10.
Attention - 자연어처리와 기계 번역 분야 Attention은 자연어처리와 기계 번역 분야에서 중요한 개념으로, 모델이 입력 시퀀스의 각 부분에 주의를 기울일 수 있도록 하는 메커니즘입니다. 특히, 시퀀스-투-시퀀스(Seq2Seq) 모델의 성능 향상을 이끌었으며, 기계 번역, 질의응답 시스템, 챗봇 등 다양한 자연어처리 작업에서 적용되고 있습니다. Attention의 개요 배경: Seq2Seq 모델은 고정된 크기의 벡터로 전체 입력을 요약하여 고정된 크기의 출력을 생성합니다. 그러나 이는 입력 시퀀스의 모든 정보를 압축하므로, 긴 시퀀스를 처리할 때 정보 손실 문제가 발생할 수 있습니다. 해결책: Attention은 이 문제를 해결하기 위해 제안된 메커니즘으로, 출력을 생성할 때 입력 시퀀스의 각 단어에 가중치를 할당하여 해당 단어의 중요도를 결.. 2024. 1. 9.

티스토리툴바