Instance Pools — 클러스터 시작 시간 단축

{
  "instance_pool_name": "data-engineering-pool",
  "node_type_id": "m5.xlarge",
  "min_idle_instances": 3,
  "max_capacity": 20,
  "idle_instance_autotermination_minutes": 30,
  "preloaded_spark_versions": [
    "15.4.x-scala2.12"
  ],
  "aws_attributes": {
    "availability": "SPOT_WITH_FALLBACK",
    "zone_id": "auto",
    "spot_bid_max_price": -1
  }
}

{
  "cluster_name": "etl-cluster",
  "spark_version": "15.4.x-scala2.12",
  "instance_pool_id": "0123-456789-pool01",
  "driver_instance_pool_id": "0123-456789-pool01",
  "num_workers": 4,
  "autoscale": {
    "min_workers": 2,
    "max_workers": 8
  }
}

# databricks.yml
resources:
  clusters:
    etl_cluster:
      cluster_name: "etl-cluster"
      instance_pool_id: ${var.pool_id}
      driver_instance_pool_id: ${var.pool_id}
      num_workers: 4

{
  "aws_attributes": {
    "availability": "SPOT_WITH_FALLBACK",
    "spot_bid_max_price": -1
  }
}

# 기본 공식
최적 Min Idle = 동시 클러스터 시작 빈도 x 평균 클러스터 Worker 수

# 시간대별 가중치 적용 공식 (더 정밀)
업무 시간 Min Idle = Peak 시간대 동시 클러스터 수 x 평균 Worker 수 x 0.7
비업무 시간 Min Idle = 0 또는 1

# 시간대별 Pool Min Idle 자동 조정 스크립트
import requests
from datetime import datetime

POOL_ID = "0123-456789-pool01"
WORKSPACE_URL = "https://<workspace>.cloud.databricks.com"
TOKEN = "<pat-token>"

def adjust_pool_size():
    hour = datetime.now().hour

    if 8 <= hour < 19:  # 업무 시간 (08:00~19:00)
        min_idle = 10
    elif 7 <= hour < 8 or 19 <= hour < 20:  # 전환 시간
        min_idle = 3
    else:  # 야간/주말
        min_idle = 0

    response = requests.patch(
        f"{WORKSPACE_URL}/api/2.0/instance-pools/edit",
        headers={"Authorization": f"Bearer {TOKEN}"},
        json={
            "instance_pool_id": POOL_ID,
            "min_idle_instances": min_idle
        }
    )
    print(f"Pool Min Idle 설정: {min_idle} (현재 시각: {hour}시)")

adjust_pool_size()

# Pool이 유리한 조건
Pool 유휴 비용 < (Serverless DBU 프리미엄 x 실제 사용 DBU)

# 예시: 월 2,000 DBU 사용 기준
- Pool 유휴 비용: $691/월
- Serverless DBU 프리미엄: $0.15/DBU x 2,000 = $300/월
→ Pool 유휴 비용($691) > Serverless 프리미엄($300) → Serverless가 유리

# 예시: 월 10,000 DBU 사용 기준
- Pool 유휴 비용: $691/월
- Serverless DBU 프리미엄: $0.15/DBU x 10,000 = $1,500/월
→ Pool 유휴 비용($691) < Serverless 프리미엄($1,500) → Pool이 유리

{
  "instance_pool_id": {
    "type": "fixed",
    "value": "0123-456789-prod-worker-pool"
  },
  "driver_instance_pool_id": {
    "type": "fixed",
    "value": "0123-456789-prod-driver-pool"
  },
  "custom_tags.Environment": {
    "type": "fixed",
    "value": "production"
  },
  "custom_tags.CostCenter": {
    "type": "fixed",
    "value": "data-engineering"
  }
}

-- Pool 사용률 분석: 얼마나 자주 Pool에서 인스턴스를 할당받는지
SELECT
  date_trunc('hour', event_time) AS hour,
  request_params.instance_pool_id,
  COUNT(*) AS pool_requests,
  COUNT(CASE WHEN response.status_code = 200 THEN 1 END) AS successful,
  COUNT(CASE WHEN response.status_code != 200 THEN 1 END) AS failed
FROM system.access.audit
WHERE action_name LIKE '%instancePool%'
  AND event_time > CURRENT_TIMESTAMP() - INTERVAL 7 DAYS
GROUP BY 1, 2
ORDER BY 1 DESC;

-- 클러스터별 Pool 사용 현황
SELECT
  request_params.cluster_name,
  request_params.instance_pool_id,
  COUNT(*) AS start_count,
  AVG(TIMESTAMPDIFF(SECOND, event_time,
    LEAD(event_time) OVER (PARTITION BY request_params.cluster_id ORDER BY event_time)
  )) AS avg_runtime_seconds
FROM system.access.audit
WHERE action_name = 'create'
  AND service_name = 'clusters'
  AND request_params.instance_pool_id IS NOT NULL
  AND event_time > CURRENT_TIMESTAMP() - INTERVAL 30 DAYS
GROUP BY 1, 2
ORDER BY start_count DESC;