데이터 엔지니어링 비교

이 문서는 플랫폼 비교 섹션의 일부입니다.

​

ETL 파이프라인

​

데이터 수집 및 CDC

​

데이터 품질

성공 Databricks Lakeflow(DLT)의 핵심: “무엇을” 원하는지만 선언하면, 실행 계획, 오류 복구, 데이터 품질 검증, 의존성 관리를 플랫폼이 자동 처리합니다. APPLY CHANGES는 CDC를 코드 한 줄로 해결하며, 배치와 스트리밍도 동일한 코드로 통합됩니다.

주의 경쟁사 장점: Snowflake의 Dynamic Tables는 SQL만으로 선언적 파이프라인을 구성할 수 있어 SQL 전문가에게 친숙합니다. MS Fabric의 Data Factory는 GUI 기반 파이프라인 설계로 코딩이 부담스러운 팀에게 적합합니다. BigQuery의 완전 서버리스 특성은 인프라 관리 부담을 최소화합니다.

​

Lakeflow (DLT) vs 경쟁사 ETL 엔진 심층 비교

​

선언적 vs 명령적 파이프라인

​

DLT vs Dynamic Tables vs dbt 비교

참고 DLT의 핵심 장점 3가지: (1) SQL과 Python 모두 선언적으로 사용 가능, (2) 스트리밍과 배치를 동일 코드로 통합, (3) 데이터 품질 검증이 파이프라인에 내장. dbt는 SQL만 지원하고 스트리밍이 불가하며, Dynamic Tables도 SQL만 지원합니다.

​

DLT 파이프라인 코드 예시 (경쟁사 대비 간결함)

-- CDC 스트리밍 수집 + SCD Type 2 자동 적용
CREATE OR REFRESH STREAMING TABLE customers;

APPLY CHANGES INTO LIVE.customers
FROM STREAM(LIVE.customers_cdc)
KEYS (customer_id)
APPLY AS DELETE WHEN operation = 'DELETE'
SEQUENCE BY updated_at
STORED AS SCD TYPE 2;

-- 1단계: Stream 생성
CREATE STREAM customers_stream ON TABLE raw_customers;

-- 2단계: Task 생성
CREATE TASK customers_merge_task
  WAREHOUSE = 'ETL_WH'
  SCHEDULE = '1 MINUTE'
AS
  MERGE INTO customers t
  USING customers_stream s ON t.customer_id = s.customer_id
  WHEN MATCHED AND s.METADATA$ACTION = 'DELETE' THEN DELETE
  WHEN MATCHED THEN UPDATE SET ...
  WHEN NOT MATCHED THEN INSERT ...;

-- 3단계: SCD Type 2는 별도 로직 구현 필요 (수십 줄)
-- 4단계: Task 시작
ALTER TASK customers_merge_task RESUME;

​

Auto Loader vs 경쟁사 파일 수집

​

Auto Loader 상세 기능

성공 Auto Loader의 핵심 차별화: 스키마 진화 자동 처리 와 Rescue 컬럼 입니다. 실 운영 환경에서 소스 시스템의 스키마 변경은 불가피합니다. Auto Loader는 새 컬럼이 추가되면 자동으로 테이블에 반영하고, 스키마 불일치 레코드는 _rescued_data에 보관하여 데이터 손실 Zero를 보장합니다.

​

Structured Streaming vs 경쟁사 스트리밍

​

스트리밍 아키텍처 비교

​

배치↔스트리밍 통합의 가치

# 스트리밍 모드
df = spark.readStream.format("cloudFiles") \
  .option("cloudFiles.format", "json") \
  .load("/data/events/")

df.writeStream.format("delta") \
  .option("checkpointLocation", "/checkpoints/events") \
  .trigger(processingTime="10 seconds") \  # ← 이 줄만 변경
  .toTable("catalog.schema.events")

# 배치 모드로 전환: trigger만 변경
# .trigger(availableNow=True)  ← 배치로 전환

​

Lakeflow Connect — SaaS 데이터 수집

​

Lakeflow Connect vs 경쟁사 SaaS 커넥터

참고 Lakeflow Connect의 전략적 의미: Fivetran, Airbyte 같은 3rd party 데이터 수집 도구를 Databricks 네이티브로 대체 합니다. 별도 SaaS 비용 절감 + Unity Catalog 거버넌스 자동 적용 + 단일 플랫폼 운영이라는 3가지 이점이 있습니다.

​

데이터 품질 관리 심층 비교

​

DLT Expectations vs 경쟁사 데이터 품질

​

Expectations 코드 예시

-- DLT에서 데이터 품질 검증 (선언적)
CREATE OR REFRESH STREAMING TABLE orders (
  CONSTRAINT valid_amount EXPECT (amount > 0) ON VIOLATION DROP ROW,
  CONSTRAINT valid_customer EXPECT (customer_id IS NOT NULL) ON VIOLATION FAIL UPDATE,
  CONSTRAINT valid_date EXPECT (order_date >= '2020-01-01') ON VIOLATION WARN
)
AS SELECT * FROM STREAM(LIVE.raw_orders);

​

Lakehouse Monitor — 데이터 품질 자동 모니터링

​

Lakehouse Monitor vs 경쟁사

-- Lakehouse Monitor 생성 (SQL 한 줄)
CREATE MONITOR catalog.schema.orders
WITH (
  GRANULARITIES = ('1 day'),
  TIME_COL = 'order_date'
);

성공 SA/SE 핵심 메시지: Databricks는 데이터 품질을 파이프라인 레벨(DLT Expectations) 과 테이블 레벨(Lakehouse Monitor) 에서 이중으로 보장합니다. 경쟁사에서는 Great Expectations, Monte Carlo, Soda 같은 별도 3rd party 도구 를 도입해야 동일한 수준의 품질 관리가 가능합니다.

​

오케스트레이션 비교

​

파이프라인 오케스트레이션

참고 Databricks Workflows의 핵심: 하나의 Job에서 DLT 파이프라인 → SQL 쿼리 → ML 학습 → 모델 배포 까지 전체 워크플로를 오케스트레이션할 수 있습니다. 경쟁사에서는 ETL(Glue) → SQL(Redshift) → ML(SageMaker)을 Step Functions로 연결하는 복잡한 구성이 필요합니다.