재시도, 타임아웃, 알림

# Asset Bundles에서 재시도 설정
tasks:
  - task_key: "etl_transform"
    notebook_task:
      notebook_path: "/Workspace/etl/transform"
    max_retries: 2
    min_retry_interval_millis: 120000   # 2분
    retry_on_timeout: false
    timeout_seconds: 3600               # 1시간 타임아웃

tasks:
  - task_key: "heavy_etl"
    timeout_seconds: 7200    # 2시간 타임아웃

# Job 레벨 건강 규칙
health:
  rules:
    - metric: "RUN_DURATION_SECONDS"
      op: "GREATER_THAN"
      value: 10800           # 3시간 초과 시 경고

# Databricks Secrets를 사용한 자격 증명 관리
api_key = dbutils.secrets.get(scope="production", key="api-key")
db_password = dbutils.secrets.get(scope="production", key="db-password")

# 환경변수로 전달된 값 사용
import os
env = os.environ.get("ENVIRONMENT", "development")

# Asset Bundles에서 환경변수 설정
tasks:
  - task_key: "data_sync"
    notebook_task:
      notebook_path: "/Workspace/etl/sync"
    new_cluster:
      spark_env_vars:
        ENVIRONMENT: "${bundle.target}"
        LOG_LEVEL: "INFO"
      spark_conf:
        "spark.databricks.delta.optimizeWrite.enabled": "true"
        "spark.databricks.delta.autoCompact.enabled": "true"

# 알림 설정 예제
email_notifications:
  on_start:
    - "oncall@company.com"
  on_success:
    - "data-team@company.com"
  on_failure:
    - "oncall@company.com"
    - "data-team-lead@company.com"
  on_duration_warning_threshold_exceeded:
    - "oncall@company.com"

webhook_notifications:
  on_failure:
    - id: "${var.slack_webhook_id}"
    - id: "${var.pagerduty_webhook_id}"

notification_settings:
  no_alert_for_skipped_runs: true      # 스킵된 실행에는 알림 안 보냄
  no_alert_for_canceled_runs: false    # 취소된 실행에는 알림 보냄