시크릿 관리 (Secret Management) 상세

# ❌ 나쁜 예: 비밀번호를 코드에 직접 입력
password = "SuperSecretP@ssw0rd!"

# ✅ 좋은 예: Secret Scope에서 가져오기
password = dbutils.secrets.get(scope="my-secrets", key="db-password")

# Azure Key Vault-backed Scope 생성
databricks secrets create-scope my-azure-secrets \
  --scope-backend-type AZURE_KEYVAULT \
  --resource-id "/subscriptions/<sub-id>/resourceGroups/<rg>/providers/Microsoft.KeyVault/vaults/<vault-name>" \
  --dns-name "https://<vault-name>.vault.azure.net/"

# Databricks-backed Scope 생성
databricks secrets create-scope my-secrets

# Scope 목록 조회
databricks secrets list-scopes

# 문자열 값으로 Secret 추가
databricks secrets put-secret my-secrets db-password \
  --string-value "SuperSecretP@ssw0rd!"

# API 키 추가
databricks secrets put-secret my-secrets api-key \
  --string-value "sk-abc123def456ghi789"

# JDBC 연결 문자열 추가
databricks secrets put-secret my-secrets jdbc-url \
  --string-value "jdbc:postgresql://prod-db.company.com:5432/analytics"

# 파일에서 Secret 읽기 (바이너리 데이터, 인증서 등)
databricks secrets put-secret my-secrets tls-cert \
  --binary-file /path/to/certificate.pem

# Scope 내 Secret 목록 (값은 표시되지 않음)
databricks secrets list-secrets my-secrets

# 결과 예시:
# key             last_updated_timestamp
# db-password     1705123456789
# api-key         1705234567890
# jdbc-url        1705345678901

# 특정 Secret 삭제
databricks secrets delete-secret my-secrets db-password

# Scope 전체 삭제 (내부 Secret 모두 삭제)
databricks secrets delete-scope my-secrets

# 기본 사용법
db_password = dbutils.secrets.get(scope="my-secrets", key="db-password")
api_key = dbutils.secrets.get(scope="my-secrets", key="api-key")

# JDBC 연결에서 사용
jdbc_url = dbutils.secrets.get(scope="my-secrets", key="jdbc-url")
db_user = dbutils.secrets.get(scope="my-secrets", key="db-user")
db_pass = dbutils.secrets.get(scope="my-secrets", key="db-password")

df = (spark.read.format("jdbc")
    .option("url", jdbc_url)
    .option("user", db_user)
    .option("password", db_pass)
    .option("dbtable", "public.customers")
    .load())

# 외부 스토리지 접근 키를 Secret에서 로드
storage_key = dbutils.secrets.get(scope="my-secrets", key="storage-account-key")

spark.conf.set(
    "fs.azure.account.key.myaccount.dfs.core.windows.net",
    storage_key
)

-- SQL에서는 secret() 함수를 사용합니다
CREATE TABLE bronze.external_data
USING jdbc
OPTIONS (
  url = secret('my-secrets', 'jdbc-url'),
  user = secret('my-secrets', 'db-user'),
  password = secret('my-secrets', 'db-password'),
  dbtable = 'public.customers'
);

# Secret 값을 print하면 REDACTED로 표시됩니다
password = dbutils.secrets.get(scope="my-secrets", key="db-password")
print(password)  # 출력: [REDACTED]

# display()에서도 마찬가지입니다
# 이는 노트북 출력이나 로그에 비밀 값이 노출되지 않도록 하는 보안 조치입니다

# ❌ Secret을 문자열 조합으로 우회하면 REDACTED가 해제될 수 있습니다
password = dbutils.secrets.get(scope="my-secrets", key="db-password")
# print("".join(password))  ← 이런 우회를 하지 마세요!

# ✅ Secret은 항상 직접 함수 인자로 전달합니다
df = spark.read.format("jdbc").option("password", password).load()

# 그룹에 READ 권한 부여
databricks secrets put-acl my-secrets data-engineers READ

# 특정 사용자에게 WRITE 권한 부여
databricks secrets put-acl my-secrets alice@company.com WRITE

# 관리자 그룹에 MANAGE 권한 부여
databricks secrets put-acl my-secrets platform-admins MANAGE

# ACL 목록 확인
databricks secrets list-acls my-secrets

# 결과 예시:
# principal        permission
# data-engineers   READ
# alice@company.com WRITE
# platform-admins  MANAGE

# ACL 삭제
databricks secrets delete-acl my-secrets data-engineers

# 환경별로 별도 Scope 생성
databricks secrets create-scope dev-secrets
databricks secrets create-scope staging-secrets
databricks secrets create-scope prod-secrets

# 같은 키 이름으로 환경별 값 관리
databricks secrets put-secret dev-secrets db-host --string-value "dev-db.internal"
databricks secrets put-secret prod-secrets db-host --string-value "prod-db.internal"

# 노트북에서 환경에 따라 Scope 선택
env = dbutils.widgets.get("environment")  # "dev" 또는 "prod"
scope = f"{env}-secrets"
db_host = dbutils.secrets.get(scope=scope, key="db-host")

# 외부 데이터 소스 연결 시 Secret 활용
connection_config = {
    "host": dbutils.secrets.get("prod-secrets", "salesforce-host"),
    "username": dbutils.secrets.get("prod-secrets", "salesforce-user"),
    "password": dbutils.secrets.get("prod-secrets", "salesforce-pass"),
    "security_token": dbutils.secrets.get("prod-secrets", "salesforce-token")
}

# 환경에 따라 Scope만 전환하는 패턴
env = spark.conf.get("environment")  # "dev" 또는 "prod"
db_scope = f"{env}-db-secrets"

# 같은 코드로 dev와 prod 모두 동작
host = dbutils.secrets.get(scope=db_scope, key="mysql-host")
user = dbutils.secrets.get(scope=db_scope, key="mysql-user")
password = dbutils.secrets.get(scope=db_scope, key="mysql-password")

# 1. Managed Identity 사용 (Secret 자체를 관리하지 않아도 됨)
# Azure Databricks는 Managed Identity로 Key Vault에 접근 가능

# 2. Key Vault 감사 로그 활성화
az monitor diagnostic-settings create \
  --name "kv-audit-logs" \
  --resource "/subscriptions/.../Microsoft.KeyVault/vaults/my-vault" \
  --workspace "/subscriptions/.../Microsoft.OperationalInsights/workspaces/my-workspace" \
  --logs '[{"category": "AuditEvent", "enabled": true}]'

# 3. Secret 만료일 설정 (Key Vault에서)
az keyvault secret set \
  --vault-name "my-vault" \
  --name "api-key" \
  --value "sk-xxx" \
  --expires "2025-06-30T00:00:00Z"