본문 바로가기

빅데이터 분석기사,ADsP와 ADP158

데이터 처리 기술 - EAI 기업 애플리케이션 통합(Enterprise Application Integration, EAI)은 조직 내부의 다양한 애플리케이션, 시스템 및 데이터베이스 간에 통합 및 상호 연동하는 기술과 접근 방식을 말합니다. 기업 내의 여러 애플리케이션 간에 데이터 및 비즈니스 프로세스를 연결하여 정보를 효율적으로 공유하고 조직의 업무 흐름을 향상시키는 것을 목적으로 합니다. EAI의 주요 요소: 1. 통합 플랫폼: EAI 솔루션은 서로 다른 애플리케이션 및 시스템 간에 통합을 위한 중간 계층을 제공합니다. 이는 메시지 브로커, ESB(Enterprise Service Bus), API 등을 활용하여 데이터 및 프로세스를 관리하고 통합합니다. 2. 데이터 매핑 및 변환: 서로 다른 애플리케이션 간의 데이터 형식 및.. 2023. 11. 22.
데이터 처리 기술 - CDC 변경 데이터 캡처(Change Data Capture, CDC)는 데이터베이스에서 변경된 데이터를 식별하고, 기록하며, 이를 추적하는 기술입니다. 주로 데이터베이스의 변경사항을 감지하고, 이를 기록하거나 복제하는 데 사용됩니다. CDC는 데이터 변경 시 발생하는 이벤트와 관련된 정보를 캡처하고, 이 정보를 사용해 데이터를 추적하고 분석합니다. CDC의 작동 방식: 1. 로그 기반 변경 캡처: 대부분의 CDC 시스템은 데이터베이스의 로그를 기반으로 작동합니다. 데이터베이스에서 발생하는 각각의 변경이 로그에 기록되며, CDC는 이 로그를 모니터링하고 변화를 식별합니다. 2. 변경 식별 및 추출: CDC 시스템은 데이터베이스 로그를 분석하여 새롭게 발생한 변경사항을 식별하고, 이러한 변경 사항을 추출하여 캡처.. 2023. 11. 21.
데이터 처리 기술 - ODS 운영 데이터 스토어(Operational Data Store, ODS)는 기업이나 조직에서 다양한 소스에서 추출된 데이터를 통합하고 저장하는 중간 저장소입니다. 주로 트랜잭션 처리나 실시간 의사 결정을 지원하는 데 사용됩니다. ODS의 기능과 목적: 1. 데이터 통합과 저장: ODS는 기업 내부 및 외부의 여러 소스에서 추출한 데이터를 통합하고 저장합니다. 주로 실시간 트랜잭션 데이터를 포함합니다. 2. 실시간 처리: 주로 실시간 데이터를 다루는데 사용되며, 데이터의 실시간 업데이트를 허용하여 실시간 의사 결정을 지원합니다. 3. 중간 저장소: 데이터를 비즈니스 인텔리전스, 데이터 분석, 데이터 웨어하우스 등의 다른 시스템으로 전달하기 전에 데이터를 가공하고 통합하는 중간 단계로 사용됩니다. 4. 데이터.. 2023. 11. 20.
데이터 처리 기술 - ETL ETL은 데이터 웨어하우스나 데이터베이스로 데이터를 추출(Extract), 변환(Transform), 적재(Load)하는 과정을 의미합니다. 데이터 분석 및 비즈니스 인텔리전스에 필요한 데이터를 모으고 구성하는 데 중요한 단계로, 데이터를 가공하고 준비하여 의사 결정에 도움을 줍니다. 1. 추출 (Extract): 데이터 추출 단계에서는 다양한 소스에서 필요한 데이터를 추출합니다. 이 소스는 관계형 데이터베이스, 텍스트 파일, 웹 사이트, ERP 시스템, CRM 등 다양한 형태의 데이터 소스가 될 수 있습니다. 데이터 추출 과정은 효율적이고 정확해야 하며, 추출된 데이터는 이후 변환 단계로 이동됩니다. 2. 변환 (Transform): 추출된 데이터는 다양한 형태, 구조, 품질을 가질 수 있습니다. 변환.. 2023. 11. 19.

티스토리툴바