플랫폼 설계 — 심화 - Databricks 가이드

3. Account Console 설정 가이드

3.1 핵심 설정 체크리스트

설정 영역	항목	권장 설정	위치
계정 보안	2FA/MFA 강제	전체 사용자 필수	Settings → Authentication
SSO	SAML 2.0 / OIDC	사내 IdP 연동 (Okta, Azure AD)	Settings → Single sign-on
사용자 프로비저닝	SCIM	IdP에서 자동 동기화	Settings → User provisioning
감사 로그	활성화	전체 Workspace 대상	Settings → Audit logs
IP 접근 제한	IP Access List	사무실 + VPN IP만 허용	Settings → IP access lists

3.2 IP Access List 설정

{
  "label": "corporate-office-and-vpn",
  "list_type": "ALLOW",
  "ip_addresses": [
    "203.0.113.0/24",
    "198.51.100.0/24",
    "10.0.0.0/8"
  ]
}

IP Access List 유형	동작	용도
ALLOW	목록의 IP만 접근 허용	사무실/VPN IP 화이트리스트
BLOCK	목록의 IP 접근 차단	특정 IP 블랙리스트

참고 Account 수준 vs Workspace 수준: Account Console에서 설정한 IP Access List는 모든 Workspace에 적용됩니다. Workspace 수준에서 추가 제한을 설정할 수 있지만, Account 수준 제한을 완화할 수는 없습니다.

4. CMK (Customer Managed Key) 설정

4.1 CMK 적용 대상

암호화 대상	설명	CMK 적용 방법
관리형 서비스 (Managed Services)	노트북 소스, 시크릿, 쿼리 결과	Account Console → Encryption keys
Workspace 스토리지	DBFS Root, 시스템 데이터	Workspace 생성 시 CMK 지정
Unity Catalog 데이터	관리형 테이블, 볼륨	External Location에 CMK가 적용된 S3/ADLS 사용

4.2 AWS KMS 설정 예시

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowDatabricksUsage",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::414351767826:root"
      },
      "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:ReEncrypt*",
        "kms:GenerateDataKey*",
        "kms:DescribeKey"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowDatabricksGrant",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::414351767826:root"
      },
      "Action": [
        "kms:CreateGrant",
        "kms:ListGrants",
        "kms:RevokeGrant"
      ],
      "Resource": "*",
      "Condition": {
        "Bool": {
          "kms:GrantIsForAWSResource": "true"
        }
      }
    }
  ]
}

주의 CMK 삭제 주의: CMK를 삭제하면 해당 키로 암호화된 모든 데이터에 접근할 수 없습니다. KMS 키 삭제 대기 기간(7~30일)을 반드시 설정하고, 키 순환(rotation) 정책을 사용하세요.

5. 네트워크 보안

5.1 VPC Peering vs PrivateLink

항목	VPC Peering	PrivateLink
트래픽 경로	VPC 간 직접 통신	AWS 백본 네트워크
보안 수준	중 (VPC 간 라우팅)	높음 (엔드포인트 기반)
IP 충돌 가능성	CIDR 겹침 시 불가	없음
양방향 통신	양방향	단방향 (소비자 → 제공자)
적합한 시나리오	온프레미스 DB 접근	Databricks Control Plane 접근

5.2 PrivateLink 구성 (AWS)

PrivateLink 유형	용도	VPC Endpoint Service
Front-end (Workspace)	사용자 → Workspace UI/API	Workspace 접근
Back-end (Compute Plane)	Compute Plane → Control Plane	클러스터 ↔ 관리 서비스 통신
SCC Relay	Secure Cluster Connectivity	NAT 없이 아웃바운드 통신

[PrivateLink 아키텍처]

사용자 VPC                           Databricks Control Plane
┌──────────────────┐                ┌─────────────────────┐
│                  │                │                     │
│  사용자 브라우저 ──┼── Front-end ──→│  Workspace UI/API   │
│                  │  PrivateLink   │                     │
│                  │                │                     │
│  Compute Plane VPC ─┼── Back-end ───→│  Control Plane      │
│  (클러스터)       │  PrivateLink   │  Services           │
│                  │                │                     │
│  Compute Plane VPC ─┼── SCC Relay ──→│  SCC Relay          │
│                  │  PrivateLink   │  Endpoint           │
└──────────────────┘                └─────────────────────┘

참고 PrivateLink 비용: VPC Endpoint당 월 $7.30 + 데이터 처리 비용($ 0.01/GB)이 발생합니다. 보안 요구사항이 높은 Prod Workspace에만 적용하고, Dev에는 공용 네트워크를 사용하는 하이브리드 전략도 고려하세요.

5.3 Azure VNet Injection + Private Endpoint

구성 요소	설명	서브넷 요구사항
Container 서브넷	클러스터 노드 배치	/26 이상 (최소 64 IP)
Host 서브넷	관리 인터페이스	/26 이상
Private Endpoint	Workspace 접근	별도 서브넷 권장

6. IaC (Infrastructure as Code) 패턴

6.1 Terraform 기반 플랫폼 관리

# Workspace 생성 (AWS)
resource "databricks_mws_workspaces" "prod" {
  account_id     = var.databricks_account_id
  workspace_name = "prod-analytics"
  aws_region     = "ap-northeast-2"

  credentials_id           = databricks_mws_credentials.prod.credentials_id
  storage_configuration_id = databricks_mws_storage_configurations.prod.storage_configuration_id
  network_id               = databricks_mws_networks.prod.network_id

  # CMK 설정
  managed_services_customer_managed_key_id = databricks_mws_customer_managed_keys.managed.customer_managed_key_id
  storage_customer_managed_key_id          = databricks_mws_customer_managed_keys.storage.customer_managed_key_id

  custom_tags = {
    Environment = "production"
    CostCenter  = "platform-team"
    ManagedBy   = "terraform"
  }
}

# Unity Catalog 카탈로그 생성
resource "databricks_catalog" "prod_sales" {
  provider = databricks.workspace
  name     = "prod_sales"
  comment  = "프로덕션 영업 데이터 카탈로그"

  properties = {
    "owner_team" = "data-engineering"
    "environment" = "production"
  }
}

# Compute Policy 설정
resource "databricks_cluster_policy" "dev_policy" {
  provider = databricks.workspace
  name     = "dev-standard-policy"

  definition = jsonencode({
    "autotermination_minutes" : {
      "type" : "range",
      "maxValue" : 30,
      "defaultValue" : 10
    },
    "num_workers" : {
      "type" : "range",
      "maxValue" : 8,
      "defaultValue" : 2
    },
    "node_type_id" : {
      "type" : "allowlist",
      "values" : ["i3.xlarge", "i3.2xlarge", "m5.xlarge"]
    },
    "spark_version" : {
      "type" : "regex",
      "pattern" : "15\\.[0-9]+\\.x-scala.*"
    }
  })
}

6.2 DAB (Databricks Asset Bundles) 패턴

# databricks.yml — 멀티 환경 번들 설정
bundle:
  name: sales-pipeline

workspace:
  host: https://prod.cloud.databricks.com

targets:
  dev:
    workspace:
      host: https://dev.cloud.databricks.com
    default: true
    resources:
      jobs:
        daily_etl:
          job_clusters:
            - job_cluster_key: etl_cluster
              new_cluster:
                num_workers: 2
                node_type_id: i3.xlarge
                spark_version: 15.4.x-scala2.12

  staging:
    workspace:
      host: https://staging.cloud.databricks.com
    resources:
      jobs:
        daily_etl:
          job_clusters:
            - job_cluster_key: etl_cluster
              new_cluster:
                num_workers: 4
                node_type_id: i3.2xlarge

  prod:
    workspace:
      host: https://prod.cloud.databricks.com
    run_as:
      service_principal_name: svc-prod-etl
    resources:
      jobs:
        daily_etl:
          job_clusters:
            - job_cluster_key: etl_cluster
              new_cluster:
                num_workers: 8
                node_type_id: i3.4xlarge
                autoscale:
                  min_workers: 4
                  max_workers: 16

참고 IaC 권장 조합: Workspace 인프라(VPC, IAM, Workspace 생성)는 Terraform 으로, 데이터 파이프라인과 Job 정의는 DAB 로 관리하는 이중 구조가 가장 효과적입니다. Terraform은 플랫폼 팀이, DAB는 각 데이터 팀이 관리합니다.

개요

Platform Setup

Data Engineering

한국어 RAG & Vector Search

Genie Space 운영

Apps & Lakebase

AI Agent 평가

AI Agent Observability

Delta Lake 성능

부록 — Claude Code 사용 가이드

모범 사례

플랫폼 설계 — 심화

3. Account Console 설정 가이드

3.1 핵심 설정 체크리스트

3.2 IP Access List 설정

4. CMK (Customer Managed Key) 설정

4.1 CMK 적용 대상

4.2 AWS KMS 설정 예시

5. 네트워크 보안

5.1 VPC Peering vs PrivateLink

5.2 PrivateLink 구성 (AWS)

5.3 Azure VNet Injection + Private Endpoint

6. IaC (Infrastructure as Code) 패턴

6.1 Terraform 기반 플랫폼 관리

6.2 DAB (Databricks Asset Bundles) 패턴

참고 링크

​3. Account Console 설정 가이드

​3.1 핵심 설정 체크리스트

​3.2 IP Access List 설정

​4. CMK (Customer Managed Key) 설정

​4.1 CMK 적용 대상

​4.2 AWS KMS 설정 예시

​5. 네트워크 보안

​5.1 VPC Peering vs PrivateLink

​5.2 PrivateLink 구성 (AWS)

​5.3 Azure VNet Injection + Private Endpoint

​6. IaC (Infrastructure as Code) 패턴

​6.1 Terraform 기반 플랫폼 관리

​6.2 DAB (Databricks Asset Bundles) 패턴

​참고 링크

3. Account Console 설정 가이드

3.1 핵심 설정 체크리스트

3.2 IP Access List 설정

4. CMK (Customer Managed Key) 설정

4.1 CMK 적용 대상

4.2 AWS KMS 설정 예시

5. 네트워크 보안

5.1 VPC Peering vs PrivateLink

5.2 PrivateLink 구성 (AWS)

5.3 Azure VNet Injection + Private Endpoint

6. IaC (Infrastructure as Code) 패턴

6.1 Terraform 기반 플랫폼 관리

6.2 DAB (Databricks Asset Bundles) 패턴

참고 링크