클라이언트(Client)2 HDFS(Hadoop Distributed File System) HDFS(Hadoop Distributed File System)는 Apache Hadoop 프로젝트의 일부로 개발된 분산 파일 시스템으로, 대용량 데이터를 저장하고 처리하는 데 사용됩니다. HDFS는 대규모 데이터를 여러 머신에 분산하여 저장하고, 안정성과 확장성을 제공하여 대용량 데이터를 효율적으로 관리할 수 있도록 설계되었습니다. HDFS의 주요 특징 1. 분산 저장: 파일을 블록(Block) 단위로 나누어 여러 노드에 분산하여 저장합니다. 기본 블록 크기는 일반적으로 128MB 또는 256MB로 설정되며, 파일은 이러한 블록으로 나뉘어 저장됩니다. 2. 높은 내고장성: 데이터의 안정성을 위해 블록은 여러 노드에 복제됩니다. 기본적으로 각 블록은 3개의 복제본으로 저장되며, 복제본은 서로 다른 머신.. 2023. 12. 5. GFS(구글 파일 시스템, Google File System) GFS(구글 파일 시스템, Google File System)는 구글에서 개발된 분산 파일 시스템으로, 대규모 데이터를 안정적으로 저장하고 처리하는 데 사용됩니다. GFS는 고성능, 확장성, 내고장성 등을 갖춘 분산 파일 시스템으로서 대량의 데이터를 효율적으로 관리하는 데 특화되어 있습니다. GFS의 주요 특징 1. 분산 파일 시스템: GFS는 대규모의 데이터를 여러 머신에 분산하여 저장하는 시스템으로, 파일을 블록 단위로 분할하여 여러 서버에 분산 저장합니다. 2. 높은 내고장성: 데이터의 안정성과 가용성을 보장하기 위해 데이터를 여러 곳에 복제하고, 고장 발생 시 자동으로 복구하는 기능을 갖추고 있습니다. 3. 높은 확장성: 새로운 서버를 추가하거나 데이터를 분산하여 저장할 수 있어서 시스템의 용량을.. 2023. 12. 4. 이전 1 다음
