Delta Lake 성능 튜닝 체크리스트

-- 신규 테이블: 생성 시 CLUSTER BY로 클러스터링 키 지정
CREATE TABLE my_catalog.sales.orders (
  order_id     BIGINT,
  customer_id  BIGINT,
  order_date   DATE,
  region       STRING,
  amount       DECIMAL(12,2)
)
CLUSTER BY (region, order_date);

-- 기존 테이블에 Liquid Clustering 전환
ALTER TABLE my_catalog.sales.orders
CLUSTER BY (region, order_date);

-- 클러스터링 적용 (기존 데이터에 소급)
OPTIMIZE my_catalog.sales.orders;

-- Liquid Clustering 지원 안 되는 환경에서만 사용
OPTIMIZE my_catalog.sales.orders
ZORDER BY (region, order_date);

-- 전체 테이블 OPTIMIZE (Lakeflow Job 또는 Scheduled Query에서 실행)
OPTIMIZE my_catalog.sales.orders;

-- 부분 OPTIMIZE — 최근 7일 데이터만 최적화 (대형 테이블에 권장)
OPTIMIZE my_catalog.sales.orders
WHERE order_date >= current_date() - INTERVAL 7 DAYS;

DESCRIBE HISTORY my_catalog.sales.orders;

-- numFilesAdded, numFilesRemoved를 확인
-- numFilesRemoved가 크면 스몰 파일이 많았다는 의미

-- 기본 보존 기간 (7일) 적용
VACUUM my_catalog.sales.orders;

-- 보존 기간을 명시적으로 지정 (7일 = 168시간)
VACUUM my_catalog.sales.orders RETAIN 168 HOURS;  -- 7일

-- 테이블 속성으로 보존 기간 설정 (권장)
ALTER TABLE my_catalog.sales.orders
SET TBLPROPERTIES (
  'delta.deletedFileRetentionDuration' = 'interval 7 days',   -- 삭제된 파일 보존 기간
  'delta.logRetentionDuration' = 'interval 30 days'           -- 트랜잭션 로그 보존 기간
);

-- Query Profile에서 Photon 사용 여부 확인
-- SQL Warehouse > Query History > 쿼리 선택 > Query Profile
-- 각 연산자에 ⚡ 아이콘이 표시되면 Photon 적용

-- Photon이 적용되지 않는 대표 패턴:
-- 1. Python UDF 사용 시
-- 2. 비표준 데이터 타입 (MapType 일부 연산)
-- 3. 일부 복잡한 정규식 처리

-- 파일 수와 평균 크기 확인
DESCRIBE DETAIL my_catalog.sales.orders;
-- numFiles, sizeInBytes 확인
-- 평균 파일 크기 = sizeInBytes / numFiles

-- 원인 1: 잦은 소량 INSERT
-- 해결: 마이크로배치 크기 증가 + 주기적 OPTIMIZE
OPTIMIZE my_catalog.sales.orders;

-- 원인 2: 과도한 파티셔닝 (예: 날짜+지역+상품 3중 파티션)
-- 해결: Liquid Clustering으로 전환하면 파티션 없이 동일 효과
ALTER TABLE my_catalog.sales.orders
CLUSTER BY (region, order_date);

-- 원인 3: 스트리밍 writeStream의 기본 출력 (1분 마이크로배치 → 매분 1개 파일 생성)
-- 해결: trigger 간격 조정
-- (PySpark 예시)
# df.writeStream \
#   .trigger(processingTime="5 minutes") \  # 1분 → 5분으로 늘려 파일 생성 빈도 감소
#   .option("checkpointLocation", "...") \
#   .toTable("my_catalog.sales.orders")

ALTER TABLE my_catalog.sales.orders
SET TBLPROPERTIES (
  'delta.autoOptimize.optimizeWrite' = 'true',   -- 쓰기 시 파일 크기 최적화
  'delta.autoOptimize.autoCompact' = 'true'       -- 쓰기 후 자동 파일 병합
);

-- 좋은 예: 클러스터링/파티션 키로 직접 필터 → Data Skipping 적용
SELECT * FROM my_catalog.sales.orders
WHERE region = 'APAC' AND order_date >= '2026-01-01';

-- 나쁜 예: 함수 적용 시 pushdown 불가 → 전체 파일 스캔
SELECT * FROM my_catalog.sales.orders
WHERE YEAR(order_date) = 2026;  -- pushdown 안 됨!

-- 수정: 범위 필터로 변경하면 Data Skipping 다시 적용
SELECT * FROM my_catalog.sales.orders
WHERE order_date >= '2026-01-01' AND order_date < '2027-01-01';

-- 나쁜 예: SELECT * — 모든 컬럼을 읽음
SELECT * FROM my_catalog.sales.orders WHERE region = 'APAC';

-- 좋은 예: 필요한 컬럼만 — 읽기 I/O 절감
SELECT order_id, customer_id, amount
FROM my_catalog.sales.orders
WHERE region = 'APAC';

-- 작은 테이블(customers)을 BROADCAST → 셔플 제거로 대폭 속도 향상
SELECT /*+ BROADCAST(c) */
  o.order_id, o.amount, c.customer_name
FROM my_catalog.sales.orders o
JOIN my_catalog.sales.customers c ON o.customer_id = c.customer_id
WHERE o.order_date >= '2026-01-01';

-- 반복 사용 테이블 캐시 (대화형 분석 시)
CACHE SELECT order_id, customer_id, amount, region
FROM my_catalog.sales.orders
WHERE order_date >= current_date() - INTERVAL 30 DAYS;