네트워크, HA & DR

이 문서는 Databricks 아키텍처 의 네트워크/운영 편입니다.

​

네트워크 트래픽 흐름 상세

​

주요 통신 경로

​

PrivateLink / Private Endpoint 구성

⚠️ 비용 고려사항: PrivateLink/Private Endpoint는 시간당 과금 + 데이터 처리량 과금이 발생합니다. AWS에서 VPC Interface Endpoint는 AZ당 약 $0.01/hr +$0.01/GB입니다. 대용량 데이터 처리 시 상당한 비용이 될 수 있으므로, S3 Gateway Endpoint(무료)를 우선 사용하는 것이 좋습니다.

​

방화벽/NSG 최소 규칙

# Outbound 규칙 (Compute Plane → 외부)
1. Control Plane (Webapp)     → HTTPS 443  — 필수
2. Control Plane (SCC Relay)  → HTTPS 443  — 필수
3. S3/ADLS/GCS               → HTTPS 443  — 필수
4. Unity Catalog Metastore    → HTTPS 443  — 필수
5. 패키지 저장소 (PyPI 등)     → HTTPS 443  — 선택
6. Worker 간 Shuffle          → 내부 통신   — 필수 (Security Group 내부)

# Inbound 규칙 (외부 → Compute Plane)
7. SCC 사용 시: 없음 (모든 인바운드 차단 가능)
8. SCC 미사용 시: Control Plane → SSH 2200, HTTPS 443

​

리전별 가용성과 고가용성 (HA)

​

Databricks 리전별 가용성

💡 한국 고객: AWS ap-northeast-2(서울)과 Azure Korea Central을 사용할 수 있습니다. GCP 사용 시에는 asia-northeast1(도쿄)이 가장 가까운 리전입니다.

​

Control Plane 고가용성

⚠️ Control Plane 장애 시 영향: Control Plane이 다운되면 새 클러스터 시작, 작업 스케줄링, UI 접속 이 불가합니다. 단, 이미 실행 중인 클러스터와 작업은 계속 실행 됩니다(Compute Plane은 독립적). 이것이 Control/Compute Plane 분리 아키텍처의 핵심 이점입니다.

​

재해 복구 (DR) 패턴

​

Databricks DR 전략

💡 RPO(Recovery Point Objective) 는 “데이터를 얼마나 잃어도 되는가”, RTO(Recovery Time Objective) 는 “복구에 얼마나 걸려도 되는가”입니다.

​

실전 DR 아키텍처 패턴

​

DR 구현 핵심 요소

⚠️ DR 비용 고려: Active-Active 구성은 거의 2배의 비용 이 발생합니다. 대부분의 고객에게는 Level 2(설정 포함 DR)가 비용 대비 효과가 가장 좋습니다. 금융, 의료 등 규제 산업에서만 Level 3를 권장합니다.

​

Delta Lake DEEP CLONE을 활용한 DR

-- 테이블 단위 DR 복제
CREATE OR REPLACE TABLE dr_catalog.schema.orders
DEEP CLONE production.ecommerce.orders
LOCATION 's3://dr-bucket/ecommerce/orders/';

-- 증분 복제 (변경분만)
CREATE OR REPLACE TABLE dr_catalog.schema.orders
DEEP CLONE production.ecommerce.orders;
-- DEEP CLONE은 자동으로 마지막 복제 이후 변경분만 복사합니다

​

비용 최적화 관점