아키텍처 비교

​

아키텍처 패러다임

성공 Databricks 차별점: 데이터를 고객의 클라우드 스토리지에 오픈 포맷(Delta Lake) 으로 저장하므로, 다른 엔진(Spark, Trino, Flink 등)에서도 직접 읽을 수 있습니다. UniForm을 통해 Iceberg 호환도 자동 보장됩니다.

주의 경쟁사 장점: Snowflake는 완전 관리형 SaaS로 인프라 관리 부담이 거의 없고, BigQuery는 서버리스 아키텍처로 프로비저닝 자체가 불필요합니다. MS Fabric은 Microsoft 365/Power BI와의 긴밀한 통합이 강점입니다.

​

데이터 소유권 및 개방성

​

Lakehouse vs Data Warehouse — 아키텍처 근본 차이

​

전통적 데이터 아키텍처의 한계

​

Lakehouse 아키텍처 — 하나로 통합

참고 Lakehouse의 핵심 혁신: Delta Lake가 오브젝트 스토리지(S3/ADLS/GCS) 위에 ACID 트랜잭션, 스키마 강제, 타임 트래블, 인덱싱 을 추가하여, 저렴한 클라우드 스토리지에서 DW급 성능과 신뢰성을 달성했습니다.

​

Delta Lake vs Iceberg vs Hudi — 오픈 테이블 포맷 비교

​

UniForm — 포맷 간 호환성 문제 해결

Delta Lake 테이블 (원본)
  ├─ Spark/Databricks → Delta Lake 프로토콜로 직접 읽기
  ├─ Trino/Snowflake  → Iceberg 프로토콜로 읽기 (UniForm 자동 변환)
  └─ 기타 엔진        → Hudi 프로토콜로 읽기 (UniForm 자동 변환)

성공 UniForm의 전략적 의미: 고객은 Delta Lake를 선택하면서도 Iceberg 생태계 도구를 자유롭게 활용할 수 있습니다. “어떤 포맷을 선택해야 하나?”라는 질문 자체가 불필요해집니다. 이것이 오픈 포맷 전략의 완성 입니다.

​

컴퓨팅-스토리지 분리 아키텍처 상세

​

각 플랫폼의 분리 수준

​

분리 아키텍처가 중요한 이유

참고 Databricks만의 차별점: 스토리지가 고객 소유 클라우드 계정 에 있으므로, Databricks 계약 종료 후에도 데이터를 100% 보유합니다. Snowflake는 벤더 관리 스토리지이므로, 이관 시 별도 COPY 작업이 필요합니다.

​

카탈로그 및 메타데이터 관리 아키텍처

​

Unity Catalog vs 경쟁사 카탈로그

​

메타데이터 아키텍처 차이

[Databricks Unity Catalog]
  ├─ 중앙 메타스토어 (Account 레벨)
  │   ├─ Catalog A (프로덕션)
  │   │   ├─ Schema: sales → Tables, Views, Functions
  │   │   ├─ Schema: ml_models → Models, Feature Tables
  │   │   └─ Schema: genai → Vector Indexes, Agents
  │   ├─ Catalog B (개발)
  │   └─ Catalog C (외부 공유용)
  ├─ 접근 제어 (GRANT/REVOKE, Row Filter, Column Mask)
  ├─ 리니지 (테이블→컬럼→모델→Agent 자동 추적)
  └─ 감사 로그 (System Tables — SQL로 분석)

[Snowflake]
  ├─ Account 내 Database들
  │   ├─ Database A → Schema → Tables/Views
  │   └─ (모델, Feature, Vector는 별도 관리 또는 미지원)
  ├─ 접근 제어 (GRANT/REVOKE, Masking Policy)
  └─ 리니지 (Object Dependencies, 테이블 레벨만)

[AWS]
  ├─ Glue Data Catalog (테이블 메타데이터)
  ├─ Lake Formation (접근 제어)
  ├─ SageMaker (모델 레지스트리 — 별도)
  └─ CloudTrail (감사 — JSON 로그, 분석 어려움)

​

각 플랫폼의 기술 스택 상세 비교

​

전체 기술 스택 매핑

​

기술 스택 관점에서의 핵심 차이

성공 SA/SE 핵심 메시지: “Databricks는 하나의 플랫폼에서 데이터 수집→ETL→SQL 분석→ML→GenAI→거버넌스를 모두 수행합니다. AWS에서 동일한 구성을 하려면 S3 + Glue + Redshift + SageMaker + Bedrock + Lake Formation + CloudTrail을 조합해야 하며, 각 서비스 간 데이터 복사와 거버넌스 이중화가 불가피합니다.”

​

멀티클라우드 아키텍처 상세

​

멀티클라우드 지원 수준

참고 멀티클라우드가 중요한 이유: M&A로 인한 클라우드 혼용, 리전별 규제(데이터 주권), 벤더 협상력 확보, DR/BCP 구성 등 다양한 이유로 멀티클라우드 전략을 채택하는 기업이 증가하고 있습니다. Databricks는 이 시나리오에서 유일하게 일관된 경험 을 제공합니다.