**Zero Disk Architecture (ZDA) 컴팩트 정리** ### 1. 정의 및 핵심 개념 **Zero Disk Architecture**는 **컴퓨트 노드가 로컬 영구 디스크를 전혀 가지지 않는** (zero-disk, diskless) 설계입니다. 모든 영속 데이터는 **클라우드 오브젝트 스토리지**(Amazon S3, Google Cloud Storage, Azure Blob 등)에 저장되며, 컴퓨트 노드는 **stateless**하게 동작합니다. 컴퓨트와 스토리지를 완전히 **disaggregated**(분리)하여 각 계층을 독립적으로 확장할 수 있게 한 클라우드 네이티브 패러다임입니다. ### 2. 주요 기술 원리 - **Stateless Compute**: Kubernetes Deployment처럼 disposable한 노드 사용 (StatefulSet 불필요) - **Object Storage as Backbone**: 모든 읽기/쓰기를 S3 등 오브젝트 스토어 API로 처리 - **Data Virtualization & Batching**: 작은 쓰기를 배치 → 큰 순차 쓰기로 변환 (LSM-tree, append-only, log-structured) - **Metadata Management**: 외부 카탈로그 (Iceberg, Delta Lake, Glue 등)로 S3 List 오버헤드 최소화 - **Consistency**: S3 Conditional Writes, 외부 락 (DynamoDB), WAL + 비동기 플러시 - **High-Performance Networking**: 병렬 I/O, persistent connection, placement group 등 최적화 ### 3. 장점 (주요 매력 포인트) | 장점 | 설명 | |------|------| | **독립적 확장성** | 컴퓨트와 스토리지 완전 분리 → 각각 자유롭게 스케일 | | **높은 내구성** | S3의 11 nines (99.999999999%) 내구성 자동 상속 | | **운영 단순성** | 디스크 관리, 복제, 재분배, I/O 튜닝 등 스토리지 운영 부담 사라짐 | | **비용 효율** | GB당 비용 5~10배 절감, AZ 간 트래픽 비용 대폭 감소 (WarpStream 사례: $600 → $40 미만) | | **무제한 용량 & 데이터 공유** | 단일 데이터 레이크로 여러 클러스터/프레임워크가 공유 가능 | | **워크로드 격리** | 동일 데이터에 대해 분석·실시간·ML 등 독립 컴퓨트 클러스터 동시 운영 | ### 4. 한계와 도전 과제 - **지연 시간 증가**: 로컬 SSD (μs~ms) vs 오브젝트 스토어 (수십~수백 ms) - **작은 I/O 비효율**: 요청 오버헤드 + API 비용 + rate limit (S3: prefix당 3,500 PUT/s 등) - **메타데이터 작업 느림**: List 작업 병목 → 외부 카탈로그 필수 - **네트워크 의존성**: 네트워크 장애 시 전체 영향 - **강한 일관성/ACID 어려움**: eventually consistent 특성으로 인해 복잡한 동기화 필요 - **Cold start**: 새 노드 시작 시 데이터 페치 지연 → 많은 시스템이 **하이브리드** 방식 (핫 데이터: 로컬 SSD/WAL 캐시 + 콜드 데이터: S3)으로 보완 ### 5. 전통 아키텍처 vs ZDA vs 하이브리드 비교 (요약) - **전통**: 로컬 디스크 + Shared-nothing → 낮은 지연, 높은 운영 복잡도, 확장 어려움 - **ZDA**: 완전 분리 → 최고 확장성·비용 효율·운영 단순성, 지연 희생 - **하이브리드**: 두 세계 절충 (로컬 캐시 + 오브젝트 스토리지) ### 6. 실제 구현 사례 - **분석/웨어하우스**: Snowflake (virtual warehouses), BigQuery, Redshift Spectrum, Netflix (HDFS → S3) - **스트리밍**: WarpStream (stateless Kafka), Confluent Kora, AutoMQ (zero-disk Kafka), Redpanda Cloud Topics, Pinterest MemQ - **트랜잭션 DB**: AWS Aurora, Neon (서버리스 Postgres), TiDB, SlateDB - **기타**: Spark, Flink 2.0, 벡터 DB (Milvus 등), ML 파이프라인 ### 7. 미래 전망 - 클라우드 네이티브 데이터 시스템의 **주류 패러다임**으로 자리 잡을 전망 - S3 Express One Zone 등 저지연 오브젝트 스토리지 등장으로 지연 갭 축소 중 - 하이브리드 → 점진적 pure ZDA 전환 예상 - 분석·스트리밍 분야는 이미 ZDA가 기본, OLTP도 빠르게 확대 중 - 핵심 트렌드: 비용 절감 + 운영 단순화 + 무한 확장성 **한 줄 요약** **Zero Disk Architecture**는 “서버에 디스크를 없애고, 모든 영속성을 클라우드 오브젝트 스토리지에 맡기는” 설계로, **클라우드 시대에 가장 강력한 확장성·비용 효율·운영 단순성**을 제공하지만, 지연 시간과 작은 I/O 패턴에서 트레이드오프가 존재합니다.