클러스터 설정

​

클러스터를 설정할 때 고려해야 할 항목들

​

Databricks Runtime 버전

💡 Databricks Runtime 은 클러스터에서 실행되는 소프트웨어 패키지입니다. Apache Spark와 함께 다양한 라이브러리, 최적화, 보안 기능이 포함되어 있습니다.

​

LTS vs 최신 버전

🆕 최신 버전: Databricks Runtime 18.1 이 최신 GA 버전이며, Apache Spark 4.1.0을 기반으로 합니다. 특별한 이유가 없다면 최신 LTS(Long Term Support) 버전을 선택하시는 것을 권장합니다.

​

노드 타입 (Node Type)

​

Driver 노드와 Worker 노드

💡 Single Node 클러스터: Worker 없이 Driver만으로 구성된 클러스터입니다. 소규모 데이터 탐색, 라이브러리 테스트, 단일 머신 ML 학습 등에 적합합니다. Worker가 없으므로 분산 처리는 불가능합니다.

​

인스턴스 패밀리 선택 가이드

💡 셔플(Shuffle)이란?groupBy(), join() 같은 연산을 할 때, 데이터가 Executor 간에 재분배되는 과정입니다. 대량의 셔플이 발생하면 네트워크와 디스크 I/O가 증가합니다. 스토리지 최적화 인스턴스는 로컬 SSD를 활용하여 셔플 성능을 향상시킵니다.

​

인스턴스 선택 의사결정 가이드

🆕 Flexible Node Types: Databricks가 최근 GA로 출시한 기능으로, 요청한 인스턴스 타입을 사용할 수 없는 경우 호환되는 다른 인스턴스 타입으로 자동 대체 합니다. 클라우드 용량 부족으로 클러스터 시작이 실패하는 문제를 방지합니다.

​

오토스케일링 (Autoscaling)

💡 오토스케일링(Autoscaling) 이란 워크로드에 따라 Worker 노드의 수를 자동으로 늘리거나 줄이는 기능입니다.

​

설정 방법

최소 Worker 수: 2
최대 Worker 수: 10

• 최소(Min): 클러스터가 유휴 상태일 때 유지하는 최소 Worker 수입니다. 0으로 설정하면 유휴 시 Worker가 모두 해제됩니다
• 최대(Max): 부하가 높을 때 확장할 수 있는 최대 Worker 수입니다. 비용 상한을 제어하는 역할을 합니다

​

워크로드별 권장 설정

💡 배치 작업에서 고정 크기를 권장하는 이유: 정기 배치 작업은 처리량이 예측 가능하므로, 스케일 업/다운에 소요되는 시간 오버헤드가 오히려 비효율적일 수 있습니다. 고정 크기로 설정하면 클러스터 시작부터 최대 성능으로 처리를 시작합니다.

​

Spot 인스턴스

💡 Spot 인스턴스(Spot Instance) 란 클라우드 제공자의 여유 용량을 활용하여 정가의 60~90% 할인된 가격 으로 사용할 수 있는 인스턴스입니다. 단, 클라우드 제공자가 용량이 필요하면 갑자기 회수(preemption) 할 수 있습니다.

​

모범 사례

• Driver 노드 는 항상 On-Demand를 사용합니다 (중간에 회수되면 전체 작업이 실패합니다)
• Worker 노드 는 Spot과 On-Demand를 혼합합니다 (Spot을 우선 사용하되, 일부 On-Demand를 혼합하여 안정성을 확보합니다)
• Spot이 회수되어도 Spark는 자동으로 작업을 재시도합니다
• Spot Fallback: Spot 인스턴스를 확보하지 못하면 자동으로 On-Demand로 대체하는 옵션을 활성화합니다

​

Photon 엔진

💡 Photon 은 Databricks가 C++로 개발한 차세대 쿼리 실행 엔진입니다. 기존 Spark SQL 엔진을 대체하여 SQL 쿼리와 DataFrame 연산을 최대 수 배 빠르게 실행합니다.

​

Photon이 빠른 이유

​

활성화 방법

​

Photon이 효과적인 경우

​

Init Script (초기화 스크립트)

💡 Init Script 는 클러스터가 시작될 때 각 노드에서 자동으로 실행되는 셸 스크립트 입니다. 시스템 패키지 설치, 환경 변수 설정, 보안 구성 등에 사용합니다.

​

Init Script 유형

​

사용 예시

#!/bin/bash
# Init Script 예시: 시스템 패키지 설치

# OS 패키지 설치
apt-get update && apt-get install -y libmagic-dev

# Python 패키지 설치
pip install opencv-python-headless pdf2image

Init Script 경로: /Volumes/production/config/init-scripts/install-packages.sh

⚠️ 주의: Init Script가 실패하면 클러스터 시작이 실패합니다. 스크립트를 배포하기 전에 반드시 테스트하고, 에러 처리 로직을 포함하세요.

​

환경 변수 (Environment Variables)

환경 변수 설정 (클러스터 설정 > Advanced > Spark 환경 변수):

ENV=production
API_ENDPOINT=https://api.company.com
REGION=ap-northeast-2

# 코드에서 환경 변수 참조
import os
env = os.environ.get("ENV", "dev")
api_url = os.environ.get("API_ENDPOINT")

⚠️ 보안 주의: 비밀번호나 API 키 같은 민감한 정보는 환경 변수 대신 Databricks Secrets 를 사용하세요. 환경 변수는 클러스터 설정에 평문으로 저장되므로 보안에 취약합니다.

​

클러스터 태그 (Tags)

태그 예시:
team = data-engineering
project = sales-pipeline
cost-center = DE-001
environment = production

​

클러스터 풀 (Instance Pools)

💡 클러스터 풀(Instance Pool) 은 유휴 인스턴스를 미리 확보해두는 기능입니다. 클러스터가 시작되거나 스케일 아웃될 때 새 인스턴스를 프로비저닝하는 대신 풀에서 즉시 할당 받아 시작 시간을 크게 단축합니다.

​

동작 원리

​

주요 설정

​

풀 사용 시 이점

​

자동 종료 (Auto Termination)

자동 종료 시간: 30분 (유휴 후)

• All-Purpose 클러스터에서 설정하는 것을 강력히 권장 합니다
• 일반적으로 30분~120분 사이로 설정합니다
• Job 클러스터는 Job 완료 후 자동으로 종료되므로 별도 설정이 불필요합니다

​

자동 종료 권장 시간

​

클러스터 정책 (Cluster Policies)

💡 클러스터 정책(Cluster Policy) 은 관리자가 클러스터 설정의 허용 범위를 제한 하는 규칙입니다. 사용자가 과도한 리소스를 설정하거나 비효율적인 구성을 하는 것을 방지합니다.

{
  "spark_version": {
    "type": "regex",
    "pattern": "15\\.[0-9]+\\.x-scala.*",
    "hidden": false
  },
  "num_workers": {
    "type": "range",
    "minValue": 1,
    "maxValue": 10,
    "defaultValue": 2
  },
  "node_type_id": {
    "type": "allowlist",
    "values": ["m5.xlarge", "m5.2xlarge", "r5.xlarge"],
    "defaultValue": "m5.xlarge"
  },
  "autotermination_minutes": {
    "type": "range",
    "minValue": 10,
    "maxValue": 120,
    "defaultValue": 30
  }
}

​

정리

​

참고 링크

• Databricks: Cluster configuration
• Databricks: Photon
• Databricks: Instance Pools
• Databricks: Cluster Policies
• Databricks: Init Scripts
• Azure Databricks: Compute configuration