근사 답변, 정확한 결정 — 분석을 위한 새로운 Sketch 함수

Documentation Index

Fetch the complete documentation index at: https://docs.sifi.life/llms.txt

Use this file to discover all available pages before exploring further.

참고 요약

• Apache DataSketches 기반의 4가지 새 함수 패밀리: KLL Quantile, Theta, Approximate Top-K, Tuple Sketches가 Databricks SQL에 도입되어 대규모 데이터셋에서 빠른 근사 계산을 가능하게 합니다.
• 밀리초 단위 분위수와 마이크로초 단위 집합 연산: 글로벌 정렬과 클러스터 셔플 없이 P50/P90/P99, distinct 카운트, 실시간 트렌딩을 계산합니다.
• Sketch 머지로 점진적 갱신: 미리 계산된 sketch를 저장·병합할 수 있어 배치 잡을 라이브 리더보드와 점진적 대시보드로 변환할 수 있습니다.

​

1. KLL Quantile Sketches — 분위수를 밀리초에

• 밀리초 단위로 분위수 계산 (분 단위 글로벌 정렬 없이)
• bounded memory — 데이터가 100배 늘어도 메모리 사용은 거의 일정
• 점진적 갱신 — sketch를 저장하고 새 데이터의 sketch와 머지해 원본 데이터를 다시 스캔하지 않음
• 상대 오차 1~2% 수준

​

예시 사용

-- KLL sketch 생성
SELECT approx_percentile_kll(latency_ms, 0.99) AS p99
FROM api_logs
WHERE event_date >= current_date() - 7;

-- 점진적 머지 패턴
INSERT INTO daily_latency_sketches
SELECT date_trunc('day', event_time) AS day,
       sketch_kll(latency_ms) AS sketch
FROM api_logs
GROUP BY 1;

​

2. Theta Sketches — Distinct 값에 대한 집합 연산

“기존에는 클러스터 셔플이 필요했던 집합 연산이 마이크로초 단위로 로컬에서 일어납니다.”

​

예시 사용

-- 캠페인 A와 B의 오디언스 오버랩
SELECT 
  theta_intersection(sketch_a, sketch_b) AS overlap_count,
  theta_union(sketch_a, sketch_b) AS total_reach,
  theta_difference(sketch_a, sketch_b) AS only_in_a
FROM campaigns;

​

3. Approximate Top-K — 실시간 트렌딩

“원본 이벤트 데이터를 다시 처리하지 않고 실시간 트렌딩이 가능합니다.”

​

예시 사용

-- 시간대별 인기 검색어 Top-100
SELECT approx_top_k(search_query, 100) AS top_searches
FROM search_logs
WHERE event_time >= current_timestamp() - INTERVAL 1 HOUR;

​

4. Tuple Sketches — Distinct + 집계 메트릭

-- 채널별 distinct 사용자 수와 총 매출을 하나의 패스로
SELECT 
  channel,
  tuple_sketch_distinct(user_id) AS distinct_users,
  tuple_sketch_sum(revenue) AS total_revenue
FROM transactions
GROUP BY channel;

​

왜 중요한가

​

시작하기