워크스페이스 관리

Account 수준 관리 흐름:
1. Account Console에서 사용자/그룹 생성
2. 각 Workspace에 사용자/그룹 할당
3. Workspace 내에서 세부 권한 설정

# SCIM 프로비저닝 설정 시 필요한 정보
# Account Console > Settings > Identity Providers

SCIM Endpoint: https://accounts.cloud.databricks.com/api/2.0/accounts/<account-id>/scim/v2
SCIM Token: <Account Admin이 생성한 PAT>

-- Unity Catalog에서 그룹 기반 권한 부여
GRANT USE CATALOG ON CATALOG analytics TO `data_analysts`;
GRANT USE SCHEMA ON SCHEMA analytics.gold TO `data_analysts`;
GRANT SELECT ON SCHEMA analytics.gold TO `data_analysts`;

-- 데이터 엔지니어 그룹에는 쓰기 권한까지 부여
GRANT ALL PRIVILEGES ON SCHEMA analytics.silver TO `data_engineers`;

{
  "spark_version": {
    "type": "regex",
    "pattern": "16\\.[0-9]+\\.x-scala.*",
    "defaultValue": "16.2.x-scala2.12",
    "hidden": false
  },
  "node_type_id": {
    "type": "allowlist",
    "values": [
      "i3.xlarge",
      "i3.2xlarge"
    ],
    "defaultValue": "i3.xlarge"
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "range",
    "minValue": 1,
    "maxValue": 10,
    "defaultValue": 4
  },
  "autotermination_minutes": {
    "type": "range",
    "minValue": 10,
    "maxValue": 60,
    "defaultValue": 30
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "data-engineering"
  }
}

# Databricks CLI로 클러스터 정책 생성
databricks cluster-policies create --json '{
  "name": "analyst-small",
  "definition": "{\"node_type_id\":{\"type\":\"allowlist\",\"values\":[\"i3.xlarge\"]},\"autoscale.max_workers\":{\"type\":\"range\",\"minValue\":1,\"maxValue\":4}}"
}'
| 예산 범위 | 금액 |
|----------|------|
| 전사 월 예산 | $50,000 |
| dev-workspace | $10,000/월 |
| staging-workspace | $5,000/월 |
| prod-workspace | $35,000/월 |
| 알림 임계값 | 50%, 80%, 100% |

### 비용 절감 모범 사례

| 방법 | 절감 효과 | 설명 |
|------|-----------|------|
| **자동 종료** | ★★★ | 유휴 클러스터를 자동으로 종료합니다 |
| **Jobs Compute 사용** | ★★★ | All-Purpose 대신 Jobs Compute로 배치 작업 실행 |
| **Serverless 활용** | ★★☆ | 간헐적 워크로드에 적합, 유휴 비용 없음 |
| **Spot 인스턴스** | ★★☆ | 워커 노드에 Spot 인스턴스 사용 (최대 90% 절감) |
| **클러스터 정책** | ★★☆ | 과도한 클러스터 생성 방지 |
| **예약 인스턴스** | ★★☆ | 장기 사용 시 Reserved/Savings Plans 적용 |

---

## 태그 기반 비용 할당

**태그(Tags)** 를 활용하면 비용을 팀, 프로젝트, 환경별로 정확하게 추적할 수 있습니다.

### 태그 적용 대상

| 대상 | 태그 설정 방법 | 예시 |
|------|---------------|------|
| **클러스터** | 클러스터 설정 > Custom Tags | `team:analytics`, `project:recommendation` |
| **Job** | Job 설정 > Tags | `env:prod`, `owner:data-eng` |
| **SQL Warehouse** | Warehouse 설정 > Tags | `department:finance` |
| **클러스터 정책** | 정책에서 태그 강제 지정 | `cost_center:CC-1234` |

### 태그 전략 예시

```json
\{
  "custom_tags.team": \{
    "type": "fixed",
    "value": "data-engineering"
  \},
  "custom_tags.env": \{
    "type": "fixed",
    "value": "production"
  \},
  "custom_tags.cost_center": \{
    "type": "regex",
    "pattern": "CC-[0-9]\{4\}",
    "hidden": false
  \}
\}

-- 팀별 월간 DBU 사용량 조회
SELECT
    usage_metadata.cluster_tags['team'] AS team,
    billing_origin_product AS product,
    DATE_TRUNC('month', usage_date) AS month,
    SUM(usage_quantity) AS total_dbus,
    SUM(usage_quantity * list_price) AS estimated_cost
FROM system.billing.usage u
LEFT JOIN system.billing.list_prices p
    ON u.sku_name = p.sku_name
WHERE usage_date >= '2025-01-01'
GROUP BY 1, 2, 3
ORDER BY estimated_cost DESC;

-- 비용 상위 10개 클러스터 조회
SELECT
    usage_metadata.cluster_id,
    ANY_VALUE(usage_metadata.cluster_tags['team']) AS team,
    SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE usage_date >= CURRENT_DATE - INTERVAL 30 DAYS
GROUP BY usage_metadata.cluster_id
ORDER BY total_dbus DESC
LIMIT 10;