Databricks Marketplace — 데이터 제품의 앱스토어

리스팅 상세 페이지 → "Get Access" 버튼 클릭
  → 무료 리스팅: 즉시 접근 권한 부여
  → 유료 리스팅: 제공자에게 접근 요청 전송
  → 승인 후: Unity Catalog에 공유 카탈로그가 나타남

-- Marketplace에서 구독한 날씨 데이터 조회
SELECT *
FROM weather_provider.public.daily_weather
WHERE city = 'Seoul'
  AND date >= '2025-01-01'
LIMIT 100;

-- 내부 데이터와 조인하여 분석
SELECT
    s.store_id,
    s.daily_sales,
    w.temperature,
    w.precipitation
FROM catalog.schema.store_sales s
JOIN weather_provider.public.daily_weather w
    ON s.date = w.date AND s.city = w.city;

-- 1. Share 생성
CREATE SHARE IF NOT EXISTS marketplace_weather_data
COMMENT 'Marketplace에서 공유할 날씨 데이터';

-- 2. 테이블 추가
ALTER SHARE marketplace_weather_data
ADD TABLE gold.daily_weather;

ALTER SHARE marketplace_weather_data
ADD TABLE gold.hourly_weather;

-- 3. 볼륨 추가 (선택)
ALTER SHARE marketplace_weather_data
ADD VOLUME raw.weather_images;

# 데이터 품질 검증 후 Share에 반영하는 파이프라인 예시
from pyspark.sql import functions as F

# 1. 원본 데이터 적재
df_raw = spark.table("bronze.weather_raw")

# 2. 데이터 품질 검증
quality_checks = {
    "null_check": df_raw.filter(F.col("temperature").isNull()).count() / df_raw.count() < 0.05,
    "range_check": df_raw.filter((F.col("temperature") < -60) | (F.col("temperature") > 60)).count() == 0,
    "freshness_check": df_raw.agg(F.max("observation_date")).collect()[0][0] >= (datetime.today() - timedelta(days=1)),
    "completeness_check": df_raw.select("city").distinct().count() >= 250,
}

# 3. 모든 검증 통과 시에만 Gold 테이블 갱신
if all(quality_checks.values()):
    df_raw.write.mode("overwrite").saveAsTable("gold.daily_weather")
    print("데이터 품질 검증 통과. Share 갱신 완료.")
else:
    failed = [k for k, v in quality_checks.items() if not v]
    raise Exception(f"데이터 품질 검증 실패: {failed}. Share 갱신 중단.")