비용 구조 이해

​

이 문서에서 다루는 내용

​

1. 왜 비용 구조 이해가 중요한가

​

클라우드 비용 폭주 사례

​

예상치 못한 청구 패턴

총 비용 = Databricks DBU 비용 + 클라우드 VM(EC2) 비용 + 스토리지 비용 + 네트워크 비용

⚠️ 주의: Databricks 콘솔의 비용 모니터링은 DBU 소모량 중심입니다. EC2 인스턴스 비용, S3 스토리지 비용, NAT Gateway 비용은 AWS 청구서를 별도로 확인해야 합니다.

​

2. DBU(Databricks Unit) 단가 체계

​

DBU란 무엇인가

💡 DBU란? Databricks의 과금 단위로, CPU 코어, 메모리, 컴퓨트 유형을 종합하여 정규화한 값입니다. 1 DBU는 약 1시간의 기본 컴퓨트 처리량에 해당합니다. 인스턴스 크기가 클수록 시간당 소모 DBU가 증가합니다.

​

SKU별 가격 비교표 (AWS 기준, 상대 단가)

⚠️ 핵심 원칙: 개발은 All-Purpose, 프로덕션은 Jobs Compute를 사용하면 동일 작업 대비 2~3배 비용 절감 이 가능합니다.

​

Commit vs Pay-as-you-go

💡 전략: 전체 DBU 소모량의 70~80%는 Commit으로 커버하고, 나머지 피크 부하는 Pay-as-you-go로 처리하는 혼합 전략이 일반적입니다.

​

3. 비용 발생 3대 영역

​

전체 비중

​

컴퓨트 비용: 클래식 vs 서버리스

• 사용자가 클러스터를 직접 생성하고 관리합니다.
• 클러스터가 기동 중인 시간 전체에 대해 DBU가 부과됩니다 (쿼리 실행 여부와 무관).
• Auto-termination을 반드시 설정해야 유휴 비용을 방지할 수 있습니다.
• EC2 인스턴스 비용은 AWS 청구서에 별도로 발생합니다.

• Databricks가 인프라를 완전히 관리합니다.
• 쿼리/작업 실행 시간에만 DBU가 부과됩니다 (유휴 비용 없음).
• EC2 인스턴스 비용이 DBU 단가에 포함되어 있습니다 (AWS 청구서에 별도 항목 없음).
• 단위 DBU 단가는 클래식보다 높지만, 유휴 시간 제거로 총비용은 낮아지는 경우가 많습니다.

클래식 총비용 = (기동 시간 × DBU/시간 × DBU 단가) + EC2 비용
서버리스 총비용 = (실행 시간 × DBU/시간 × 서버리스 DBU 단가)

​

스토리지 비용: Delta 로그 비용

# Delta 로그 정리 - OPTIMIZE + VACUUM 주기적 실행
spark.sql("OPTIMIZE my_catalog.my_schema.my_table")
spark.sql("VACUUM my_catalog.my_schema.my_table RETAIN 168 HOURS")

​

네트워크 비용: Egress 비용

💡 팁: 클러스터와 S3 버킷을 같은 리전/AZ에 배치하면 네트워크 비용을 크게 줄일 수 있습니다.

​

4. 숨겨진 비용 (Hidden Costs)

​

Unity Catalog 서버리스 컴퓨트

​

Photon 추가 DBU

​

실패한 Job 재시도 비용

// Job 설정 예시 - 재시도 횟수 제한
{
  "max_retries": 1,
  "min_retry_interval_millis": 60000
}

​

DBFS 루트 스토리지

​

Delta Live Tables (DLT) 오버헤드

​

5. 비용 최적화 핵심 전략

​

Jobs Compute vs All-Purpose Compute

​

Spot Instance (스팟 인스턴스) 활용

# 클러스터 설정에서 Spot Instance 활성화
{
  "aws_attributes": {
    "availability": "SPOT_WITH_FALLBACK",  # Spot 불가 시 On-Demand로 자동 전환
    "spot_bid_price_percent": 100           # On-Demand 가격의 100%까지 입찰
  }
}

⚠️ 주의: Driver 노드는 On-Demand로 유지하세요. Spot 중단 시 전체 작업이 실패합니다.

​

Auto-termination 설정

# 권장: 10~30분 유휴 시 자동 종료
{
  "autotermination_minutes": 20
}

​

Serverless 활용 전략

• SQL Warehouse Serverless: BI 대시보드, 임시 쿼리 — 비사용 시 자동 중지
• Jobs Serverless: 일별/주별 배치 — 클러스터 시작 시간(~2분) 절약
• All-Purpose Serverless: 개발자 노트북 — 유휴 시간 비용 제거

​

Photon 활용 판단 기준

​

6. Commit vs Pay-as-you-go 전략

​

언제 Commit을 선택해야 하는가

1. 월간 DBU 소모량이 예측 가능하고 안정적입니다.
2. 최소 6개월 이상 플랫폼을 지속적으로 사용할 계획이 있습니다.
3. 약정 DBU의 80% 이상을 실제로 소진할 수 있습니다.

​

혼합 전략 (권장)

전체 예상 DBU = 기본 워크로드 (예측 가능) + 피크 워크로드 (불규칙)

Commit 대상 = 기본 워크로드의 70~80%
Pay-as-you-go = 나머지 20~30% + 피크 워크로드

​

조직 유형별 권장 모델

​

7. 비용 가시성 확보

​

system.billing.usage 테이블

-- 최근 30일 SKU별 DBU 소모량 조회
SELECT
  sku_name,
  SUM(usage_quantity) AS total_dbu,
  COUNT(DISTINCT workspace_id) AS workspace_count
FROM system.billing.usage
WHERE usage_date >= CURRENT_DATE - INTERVAL 30 DAYS
GROUP BY sku_name
ORDER BY total_dbu DESC;

-- 팀별 비용 추적 (클러스터 태그 활용)
SELECT
  usage_metadata.cluster_id,
  custom_tags['team'] AS team,
  custom_tags['project'] AS project,
  SUM(usage_quantity) AS total_dbu
FROM system.billing.usage
WHERE usage_date >= CURRENT_DATE - INTERVAL 7 DAYS
  AND custom_tags['team'] IS NOT NULL
GROUP BY 1, 2, 3
ORDER BY total_dbu DESC;

​

태그 기반 비용 추적 (Tag-based Cost Tracking)

team: data-engineering
project: customer-360
env: production
cost-center: DE-001
owner: john.doe@company.com

{
  "custom_tags.team": {
    "type": "fixed",
    "value": "data-engineering"
  },
  "custom_tags.project": {
    "type": "allowlist",
    "values": ["customer-360", "fraud-detection", "recommendation"]
  }
}

​

클러스터 정책 (Cluster Policy)

{
  "autotermination_minutes": {
    "type": "fixed",
    "value": 30
  },
  "node_type_id": {
    "type": "allowlist",
    "values": ["m5.xlarge", "m5.2xlarge", "m5.4xlarge"]
  },
  "num_workers": {
    "type": "range",
    "maxValue": 10
  }
}

​

8. 흔한 실수와 베스트 프랙티스

​

흔한 실수 Top 5

​

베스트 프랙티스 체크리스트

• 프로덕션 Job은 Jobs Compute SKU 사용
• All-Purpose 클러스터에 Auto-termination 설정 (20분 이하)
• Worker 노드에 Spot Instance 적용 (SPOT_WITH_FALLBACK)
• Auto-scaling 설정 (min: 2, max: 적절히 제한)
• 클러스터 정책으로 최대 노드 수 제한

• Delta 테이블에 주간 OPTIMIZE 실행
• VACUUM으로 오래된 파일 정리 (최소 7일 보존 후 삭제)
• DBFS 루트 대신 External Location 사용
• 테이블 파티셔닝 전략 검토 (과도한 소규모 파티션 방지)

• 모든 클러스터/Job에 team, project, env 태그 부착
• system.billing.usage 기반 주간 비용 리포트 자동화
• 이상 비용 발생 시 Slack 알림 설정
• 월별 SKU별 비용 추이 대시보드 유지

​

참고 링크

• Databricks Pricing 공식 페이지
• Databricks DBU 소비 최적화 가이드
• System Tables — billing.usage
• 클러스터 정책 설정
• Delta Lake OPTIMIZE 및 VACUUM
• Serverless Compute 개요
• Spot Instance 설정 (AWS)
• Unity Catalog System Tables