Skip to main content

​
3. Account Console 설정 가이드

​
3.1 핵심 설정 체크리스트

설정 영역항목권장 설정위치
계정 보안2FA/MFA 강제전체 사용자 필수Settings → Authentication
SSOSAML 2.0 / OIDC사내 IdP 연동 (Okta, Azure AD)Settings → Single sign-on
사용자 프로비저닝SCIMIdP에서 자동 동기화Settings → User provisioning
감사 로그활성화전체 Workspace 대상Settings → Audit logs
IP 접근 제한IP Access List사무실 + VPN IP만 허용Settings → IP access lists

​
3.2 IP Access List 설정

{
  "label": "corporate-office-and-vpn",
  "list_type": "ALLOW",
  "ip_addresses": [
    "203.0.113.0/24",
    "198.51.100.0/24",
    "10.0.0.0/8"
  ]
}
IP Access List 유형동작용도
ALLOW목록의 IP만 접근 허용사무실/VPN IP 화이트리스트
BLOCK목록의 IP 접근 차단특정 IP 블랙리스트
참고 Account 수준 vs Workspace 수준: Account Console에서 설정한 IP Access List는 모든 Workspace에 적용됩니다. Workspace 수준에서 추가 제한을 설정할 수 있지만, Account 수준 제한을 완화할 수는 없습니다.

​
4. CMK (Customer Managed Key) 설정

​
4.1 CMK 적용 대상

암호화 대상설명CMK 적용 방법
관리형 서비스 (Managed Services)노트북 소스, 시크릿, 쿼리 결과Account Console → Encryption keys
Workspace 스토리지DBFS Root, 시스템 데이터Workspace 생성 시 CMK 지정
Unity Catalog 데이터관리형 테이블, 볼륨External Location에 CMK가 적용된 S3/ADLS 사용

​
4.2 AWS KMS 설정 예시

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowDatabricksUsage",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::414351767826:root"
      },
      "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:ReEncrypt*",
        "kms:GenerateDataKey*",
        "kms:DescribeKey"
      ],
      "Resource": "*"
    },
    {
      "Sid": "AllowDatabricksGrant",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::414351767826:root"
      },
      "Action": [
        "kms:CreateGrant",
        "kms:ListGrants",
        "kms:RevokeGrant"
      ],
      "Resource": "*",
      "Condition": {
        "Bool": {
          "kms:GrantIsForAWSResource": "true"
        }
      }
    }
  ]
}
주의 CMK 삭제 주의: CMK를 삭제하면 해당 키로 암호화된 모든 데이터에 접근할 수 없습니다. KMS 키 삭제 대기 기간(7~30일)을 반드시 설정하고, 키 순환(rotation) 정책을 사용하세요.

​
5. 네트워크 보안

항목VPC PeeringPrivateLink
트래픽 경로VPC 간 직접 통신AWS 백본 네트워크
보안 수준중 (VPC 간 라우팅)높음 (엔드포인트 기반)
IP 충돌 가능성CIDR 겹침 시 불가없음
양방향 통신양방향단방향 (소비자 → 제공자)
적합한 시나리오온프레미스 DB 접근Databricks Control Plane 접근
PrivateLink 유형용도VPC Endpoint Service
Front-end (Workspace)사용자 → Workspace UI/APIWorkspace 접근
Back-end (Compute Plane)Compute Plane → Control Plane클러스터 ↔ 관리 서비스 통신
SCC RelaySecure Cluster ConnectivityNAT 없이 아웃바운드 통신
[PrivateLink 아키텍처]

사용자 VPC                           Databricks Control Plane
┌──────────────────┐                ┌─────────────────────┐
│                  │                │                     │
│  사용자 브라우저 ──┼── Front-end ──→│  Workspace UI/API   │
│                  │  PrivateLink   │                     │
│                  │                │                     │
│  Compute Plane VPC ─┼── Back-end ───→│  Control Plane      │
│  (클러스터)       │  PrivateLink   │  Services           │
│                  │                │                     │
│  Compute Plane VPC ─┼── SCC Relay ──→│  SCC Relay          │
│                  │  PrivateLink   │  Endpoint           │
└──────────────────┘                └─────────────────────┘
참고 PrivateLink 비용: VPC Endpoint당 월 7.30+데이터처리비용(7.30 + 데이터 처리 비용(0.01/GB)이 발생합니다. 보안 요구사항이 높은 Prod Workspace에만 적용하고, Dev에는 공용 네트워크를 사용하는 하이브리드 전략도 고려하세요.

​
5.3 Azure VNet Injection + Private Endpoint

구성 요소설명서브넷 요구사항
Container 서브넷클러스터 노드 배치/26 이상 (최소 64 IP)
Host 서브넷관리 인터페이스/26 이상
Private EndpointWorkspace 접근별도 서브넷 권장

​
6. IaC (Infrastructure as Code) 패턴

​
6.1 Terraform 기반 플랫폼 관리

# Workspace 생성 (AWS)
resource "databricks_mws_workspaces" "prod" {
  account_id     = var.databricks_account_id
  workspace_name = "prod-analytics"
  aws_region     = "ap-northeast-2"

  credentials_id           = databricks_mws_credentials.prod.credentials_id
  storage_configuration_id = databricks_mws_storage_configurations.prod.storage_configuration_id
  network_id               = databricks_mws_networks.prod.network_id

  # CMK 설정
  managed_services_customer_managed_key_id = databricks_mws_customer_managed_keys.managed.customer_managed_key_id
  storage_customer_managed_key_id          = databricks_mws_customer_managed_keys.storage.customer_managed_key_id

  custom_tags = {
    Environment = "production"
    CostCenter  = "platform-team"
    ManagedBy   = "terraform"
  }
}

# Unity Catalog 카탈로그 생성
resource "databricks_catalog" "prod_sales" {
  provider = databricks.workspace
  name     = "prod_sales"
  comment  = "프로덕션 영업 데이터 카탈로그"

  properties = {
    "owner_team" = "data-engineering"
    "environment" = "production"
  }
}

# Compute Policy 설정
resource "databricks_cluster_policy" "dev_policy" {
  provider = databricks.workspace
  name     = "dev-standard-policy"

  definition = jsonencode({
    "autotermination_minutes" : {
      "type" : "range",
      "maxValue" : 30,
      "defaultValue" : 10
    },
    "num_workers" : {
      "type" : "range",
      "maxValue" : 8,
      "defaultValue" : 2
    },
    "node_type_id" : {
      "type" : "allowlist",
      "values" : ["i3.xlarge", "i3.2xlarge", "m5.xlarge"]
    },
    "spark_version" : {
      "type" : "regex",
      "pattern" : "15\\.[0-9]+\\.x-scala.*"
    }
  })
}

​
6.2 DAB (Databricks Asset Bundles) 패턴

# databricks.yml — 멀티 환경 번들 설정
bundle:
  name: sales-pipeline

workspace:
  host: https://prod.cloud.databricks.com

targets:
  dev:
    workspace:
      host: https://dev.cloud.databricks.com
    default: true
    resources:
      jobs:
        daily_etl:
          job_clusters:
            - job_cluster_key: etl_cluster
              new_cluster:
                num_workers: 2
                node_type_id: i3.xlarge
                spark_version: 15.4.x-scala2.12

  staging:
    workspace:
      host: https://staging.cloud.databricks.com
    resources:
      jobs:
        daily_etl:
          job_clusters:
            - job_cluster_key: etl_cluster
              new_cluster:
                num_workers: 4
                node_type_id: i3.2xlarge

  prod:
    workspace:
      host: https://prod.cloud.databricks.com
    run_as:
      service_principal_name: svc-prod-etl
    resources:
      jobs:
        daily_etl:
          job_clusters:
            - job_cluster_key: etl_cluster
              new_cluster:
                num_workers: 8
                node_type_id: i3.4xlarge
                autoscale:
                  min_workers: 4
                  max_workers: 16
참고 IaC 권장 조합: Workspace 인프라(VPC, IAM, Workspace 생성)는 Terraform 으로, 데이터 파이프라인과 Job 정의는 DAB 로 관리하는 이중 구조가 가장 효과적입니다. Terraform은 플랫폼 팀이, DAB는 각 데이터 팀이 관리합니다.

​
참고 링크