빅데이터 분석기사,ADsP와 ADP158 현대적이고 빠른 웹 프레임워크 - FastAPI FastAPI는 Python을 위한 현대적이고 빠른 웹 프레임워크로, 빠른 속도와 쉬운 사용성을 제공하며 API(Application Programming Interface)를 빌드하기 위한 강력한 도구입니다. FastAPI는 파이썬의 타입 힌트(type hints)를 활용하여 높은 성능과 코드의 가독성을 동시에 제공하는 특징을 갖고 있습니다. 주요 특징: 1. 빠른 속도와 고성능: ASGI(Asynchronous Server Gateway Interface) 서버를 기반으로 하여 비동기적으로 요청을 처리하므로 빠른 속도를 제공합니다. 2. 타입 힌트와 자동 문서화: Python의 타입 힌트를 기반으로 하여 자동으로 API의 요청과 응답을 문서화할 수 있으며, Swagger UI나 Redoc과 같은 도구.. 2023. 12. 23. 벡터 검색 및 유사성 검색을 위한 라이브러리 - Faiss Faiss는 벡터 검색 및 유사성 검색을 위한 라이브러리로, 페이스북 연구팀이 개발한 오픈 소스 라이브러리입니다. Faiss는 고차원 벡터를 효율적으로 저장하고 검색하는 데 사용됩니다. 주요 기능과 특징: 1. 고차원 벡터 검색: Faiss는 수백만 또는 수천만 차원의 벡터를 효율적으로 검색할 수 있는 기능을 제공합니다. 이는 컴퓨터 비전, 자연어 처리 등과 같이 고차원 벡터 데이터를 다루는 분야에서 유용합니다. 2. 다양한 검색 알고리즘: Faiss는 다양한 유사성 검색 알고리즘을 제공합니다. 그중에서도 특히 k-최근접 이웃(k-nearest neighbors) 검색을 위한 기능이 주목받고 있습니다. 3. 메모리 효율성: Faiss는 대량의 벡터 데이터를 메모리 내에서 효율적으로 처리할 수 있는 알고리.. 2023. 12. 22. NoSQL 데이터베이스 - 몽고DB(MongoDB) 몽고DB(MongoDB)는 NoSQL 데이터베이스의 한 종류로, 문서 지향적이며 확장성이 뛰어나고 유연한 데이터 저장 및 검색을 지원하는 데이터베이스 시스템입니다. 몽고DB는 C++로 작성되었으며, 여러 가지 플랫폼에서 사용할 수 있도록 설계되어 있습니다. 주요 특징: 1. 문서 지향 데이터베이스: 몽고DB는 BSON(Binary JSON) 형식의 문서를 사용하여 데이터를 저장합니다. 이 문서들은 JSON과 유사하지만 더 많은 데이터 유형을 지원하고 이진 데이터를 포함할 수 있습니다. 2. 유연성과 확장성: 몽고DB는 스케일링이 용이하며, 수평적으로 확장할 수 있습니다. 샤딩(sharding)을 통해 대용량의 데이터를 처리하고 성능을 향상할 수 있습니다. 3. 인덱싱: 몽고DB는 다양한 형태의 인덱스를 .. 2023. 12. 21. 유사성 평가(Similarity Evaluation) - 임베딩 모델의 성능을 평가 임베딩 모델의 성능을 평가하기 위한 한 가지 방법은 유사성 평가(Similarity Evaluation)입니다. 이 방법은 임베딩된 단어 벡터 간의 유사성을 측정하여 임베딩 모델이 의미적으로 유사한 단어들을 벡터 공간에서 얼마나 잘 표현하는지를 평가합니다. 유사성 평가 방법 1. 단어 유사도 측정: 코사인 유사도(Cosine Similarity)를 가장 많이 사용합니다. 코사인 유사도는 두 벡터 간의 각도를 기반으로 벡터의 유사성을 측정합니다. 두 벡터가 같은 방향을 향하고 있을수록 1에 가까운 값을 가지며, 유사성이 높음을 의미합니다. 2. 평가 데이터셋 구성: 평가를 위해 사전에 유사성을 측정할 단어 쌍이나 문장 쌍을 수집하여 데이터셋을 구성합니다. 대표적으로 WordSim-353, WordSimil.. 2023. 12. 17. 이전 1 ··· 9 10 11 12 13 14 15 ··· 40 다음
