Databricks에서 코드를 실행하는 컴퓨트 리소스와 워크스페이스 관리 방법을 학습합니다.
학습 목표
- 클러스터(Cluster)의 종류와 설정 방법 이해
- Serverless 컴퓨트의 개념과 활용 시나리오 파악
- SQL Warehouse의 역할과 구성 이해
- Apache Spark의 기본 동작 원리 파악
문서 목록
| 순서 | 문서 | 내용 |
|---|---|---|
| 1 | Apache Spark 기초 | 분산 처리의 개념, Driver와 Executor, DataFrame을 설명합니다 |
| 2 | 클러스터 종류 | All-Purpose, Job, Serverless 클러스터를 비교합니다 |
| 3 | 클러스터 설정 | 노드 타입, 오토스케일링, Spot 인스턴스, Photon을 다룹니다 |
| 4 | SQL Warehouse | SQL Warehouse의 구성, 사이즈 선택, BI 도구 연결을 안내합니다 |
| 5 | Serverless 컴퓨트 | 동작 원리, 비용 모델, 적합한 워크로드를 설명합니다 |