비용 구조 이해 — 심화

// Job 설정 예시 - 재시도 횟수 제한
{
  "max_retries": 1,
  "min_retry_interval_millis": 60000
}

# 클러스터 설정에서 Spot Instance 활성화
{
  "aws_attributes": {
    "availability": "SPOT_WITH_FALLBACK",  # Spot 불가 시 On-Demand로 자동 전환
    "spot_bid_price_percent": 100           # On-Demand 가격의 100%까지 입찰
  }
}

# 권장: 10~30분 유휴 시 자동 종료
{
  "autotermination_minutes": 20
}

전체 예상 DBU = 기본 워크로드 (예측 가능) + 피크 워크로드 (불규칙)

Commit 대상 = 기본 워크로드의 70~80%
Pay-as-you-go = 나머지 20~30% + 피크 워크로드

-- 최근 30일 SKU별 DBU 소모량 조회
SELECT
  sku_name,
  SUM(usage_quantity) AS total_dbu,
  COUNT(DISTINCT workspace_id) AS workspace_count
FROM system.billing.usage
WHERE usage_date >= CURRENT_DATE - INTERVAL 30 DAYS
GROUP BY sku_name
ORDER BY total_dbu DESC;

-- 팀별 비용 추적 (클러스터 태그 활용)
SELECT
  usage_metadata.cluster_id,
  custom_tags['team'] AS team,
  custom_tags['project'] AS project,
  SUM(usage_quantity) AS total_dbu
FROM system.billing.usage
WHERE usage_date >= CURRENT_DATE - INTERVAL 7 DAYS
  AND custom_tags['team'] IS NOT NULL
GROUP BY 1, 2, 3
ORDER BY total_dbu DESC;

team: data-engineering
project: customer-360
env: production
cost-center: DE-001
owner: john.doe@company.com

{
  "custom_tags.team": {
    "type": "fixed",
    "value": "data-engineering"
  },
  "custom_tags.project": {
    "type": "allowlist",
    "values": ["customer-360", "fraud-detection", "recommendation"]
  }
}

{
  "autotermination_minutes": {
    "type": "fixed",
    "value": 30
  },
  "node_type_id": {
    "type": "allowlist",
    "values": ["m5.xlarge", "m5.2xlarge", "m5.4xlarge"]
  },
  "num_workers": {
    "type": "range",
    "maxValue": 10
  }
}