Delta Lake 타임 트래블

-- 테이블의 전체 변경 이력 조회
DESCRIBE HISTORY catalog.schema.customers;

-- 최근 N개 이력만 조회
DESCRIBE HISTORY catalog.schema.customers LIMIT 10;

-- 버전 1 시점의 데이터 조회
SELECT * FROM catalog.schema.customers VERSION AS OF 1;

-- 특정 버전의 행 수 확인
SELECT COUNT(*) FROM catalog.schema.customers VERSION AS OF 0;

-- 버전 간 데이터 비교
SELECT 'current' AS version, COUNT(*) AS cnt FROM catalog.schema.customers
UNION ALL
SELECT 'version_1', COUNT(*) FROM catalog.schema.customers VERSION AS OF 1;

-- 특정 시각 기준으로 조회
SELECT * FROM catalog.schema.customers
TIMESTAMP AS OF '2025-03-20 10:00:00';

-- 상대적 시간도 사용 가능
SELECT * FROM catalog.schema.customers
TIMESTAMP AS OF current_timestamp() - INTERVAL 2 HOURS;

-- 어제 시점의 데이터
SELECT * FROM catalog.schema.customers
TIMESTAMP AS OF current_date() - INTERVAL 1 DAY;

-- 버전 번호로 복원
RESTORE TABLE catalog.schema.customers TO VERSION AS OF 1;

-- 타임스탬프로 복원
RESTORE TABLE catalog.schema.customers
TO TIMESTAMP AS OF '2025-03-20 10:00:00';

-- 실수로 모든 고객의 도시를 '서울'로 업데이트해버렸다고 가정
UPDATE catalog.schema.customers SET city = '서울';  -- 실수!

-- 1. 변경 이력 확인
DESCRIBE HISTORY catalog.schema.customers;
-- version 5: UPDATE (방금 실수한 작업)
-- version 4: ... (이전 정상 상태)

-- 2. 실수 직전 버전으로 복원
RESTORE TABLE catalog.schema.customers TO VERSION AS OF 4;

-- 3. 복원 결과 확인
SELECT * FROM catalog.schema.customers;
-- 정상 데이터가 복원되었습니다!

-- 테이블별 로그 보존 기간 설정 (기본값: 30일)
ALTER TABLE catalog.schema.customers
SET TBLPROPERTIES ('delta.logRetentionDuration' = 'interval 90 days');

-- 삭제된 파일 보존 기간 설정 (기본값: 7일, VACUUM 기준)
ALTER TABLE catalog.schema.customers
SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = 'interval 30 days');

-- 분기말 시점의 재무 데이터 확인 (감사 목적)
SELECT * FROM catalog.schema.financial_records
TIMESTAMP AS OF '2025-03-31 23:59:59';

-- 모델 학습에 사용한 시점의 데이터를 정확히 재현
CREATE TABLE catalog.schema.training_data_snapshot AS
SELECT * FROM catalog.schema.features
VERSION AS OF 42;

-- 어제와 오늘의 데이터를 비교하여 이상 변동 감지
SELECT
    'yesterday' AS period, COUNT(*) AS row_count, SUM(amount) AS total
FROM catalog.schema.orders
TIMESTAMP AS OF current_date() - INTERVAL 1 DAY
UNION ALL
SELECT
    'today', COUNT(*), SUM(amount)
FROM catalog.schema.orders;

-- 파이프라인 실패 시, 소스 테이블을 실패 직전 상태로 읽어서 재처리
CREATE OR REPLACE TABLE catalog.schema.silver_orders AS
SELECT * FROM catalog.schema.bronze_orders
VERSION AS OF 100;  -- 마지막 성공 버전

-- 의도: 테스트 환경의 더미 데이터 삭제
-- 실제: 프로덕션 환경에서 실행됨
DELETE FROM prod.finance.customer_accounts;
-- WHERE 절 없음... 250만 행 전체 삭제

-- Step 1: 방금 무슨 일이 일어났는지 확인 (30초)
DESCRIBE HISTORY prod.finance.customer_accounts LIMIT 5;
-- version 47: DELETE (operationMetrics: numDeletedRows = 2,500,000) ← 이거!
-- version 46: MERGE  (정상적인 일일 적재)

-- Step 2: 삭제 직전 상태로 복원 (2분)
RESTORE TABLE prod.finance.customer_accounts TO VERSION AS OF 46;

-- Step 3: 복원 확인 (30초)
SELECT COUNT(*) FROM prod.finance.customer_accounts;
-- 2,500,000 ✅ 모든 행이 돌아왔습니다

-- 감사인이 요청: "2025년 1분기 말 시점의 고객 잔액 데이터를 보여주세요"
-- TIMESTAMP AS OF로 정확한 시점의 데이터를 재현
SELECT
    account_id,
    balance,
    last_updated
FROM prod.finance.customer_accounts
TIMESTAMP AS OF '2025-03-31 23:59:59';

-- 추가 검증: 그 시점과 현재의 차이 분석
SELECT
    a.account_id,
    a.balance AS q1_end_balance,
    b.balance AS current_balance,
    b.balance - a.balance AS change
FROM (
    SELECT * FROM prod.finance.customer_accounts
    TIMESTAMP AS OF '2025-03-31 23:59:59'
) a
JOIN prod.finance.customer_accounts b
ON a.account_id = b.account_id
WHERE ABS(b.balance - a.balance) > 10000000;  -- 1천만원 이상 변동 계정

-- "누군가 과거 데이터를 임의로 수정했는가?" 검증
-- 같은 버전의 데이터가 시간이 지나도 동일한지 확인
SELECT
    v42.account_id,
    v42.balance AS version_42_balance,
    v42_copy.balance AS version_42_recheck
FROM (SELECT * FROM prod.finance.customer_accounts VERSION AS OF 42) v42
FULL OUTER JOIN (SELECT * FROM prod.finance.customer_accounts VERSION AS OF 42) v42_copy
ON v42.account_id = v42_copy.account_id
WHERE v42.balance != v42_copy.balance;
-- 결과가 0행이면 데이터 무결성 확인 (Delta Lake의 불변 파일 특성)

-- CDF(Change Data Feed)가 활성화된 테이블에서 모든 변경 기록 추적
SELECT
    _change_type,  -- insert, update_preimage, update_postimage, delete
    _commit_version,
    _commit_timestamp,
    *
FROM table_changes('prod.finance.customer_accounts', 40, 47)
WHERE account_id = 'ACC-12345'
ORDER BY _commit_version;

-- 실전 설정 예시: 테이블 용도에 따라 차등 적용
-- Gold 테이블 (비즈니스 보고용): 90일 보존
ALTER TABLE prod.gold.financial_summary
SET TBLPROPERTIES (
    'delta.logRetentionDuration' = 'interval 90 days',
    'delta.deletedFileRetentionDuration' = 'interval 90 days'
);

-- Bronze 테이블 (원본 적재용): 30일 보존
ALTER TABLE prod.bronze.raw_transactions
SET TBLPROPERTIES (
    'delta.logRetentionDuration' = 'interval 30 days',
    'delta.deletedFileRetentionDuration' = 'interval 30 days'
);

-- Silver 테이블 (가공 중간): 14일 보존 (재생성 가능하므로)
ALTER TABLE prod.silver.cleaned_transactions
SET TBLPROPERTIES (
    'delta.logRetentionDuration' = 'interval 14 days',
    'delta.deletedFileRetentionDuration' = 'interval 14 days'
);