하이브리드 BI 전략 (Hybrid BI Strategy)

┌─────────────────────────────────────────────────────────┐
│              소비 채널 (Consumption Layer)                │
│  Genie  │  AI/BI Dashboard  │  Tableau  │  Power BI  │  API  │
└─────────────────────┬───────────────────────────────────┘
                      │ SQL / REST
┌─────────────────────▼───────────────────────────────────┐
│       시맨틱 레이어 (Semantic Layer)                       │
│    Unity Catalog + Metric Views (SSOT)                   │
└─────────────────────┬───────────────────────────────────┘
                      │
┌─────────────────────▼───────────────────────────────────┐
│         쿼리 엔진 (Query Engine)                           │
│    SQL Warehouse (Serverless / Pro / Classic)            │
└─────────────────────┬───────────────────────────────────┘
                      │
┌─────────────────────▼───────────────────────────────────┐
│              Lakehouse (Delta Lake)                       │
│    Bronze → Silver → Gold (Medallion Architecture)       │
└─────────────────────────────────────────────────────────┘

[연결 단계]
1. Tableau Desktop → Connect → Databricks 선택
2. Server Hostname: <workspace-url>.cloud.databricks.com
3. HTTP Path: /sql/1.0/warehouses/<warehouse-id>
4. Authentication: Personal Access Token (PAT) 또는 OAuth (M2M)
5. Catalog / Schema 선택 → 테이블 드래그 앤 드롭

[Power BI Desktop 연결]
1. 데이터 가져오기 → Azure Databricks 선택
2. Server Hostname 입력
3. HTTP Path 입력 (/sql/1.0/warehouses/<id>)
4. Data Connectivity Mode: DirectQuery 또는 Import 선택
5. Authentication: Azure AD (SSO) 또는 PAT

[Power BI Service 자동 갱신]
- On-premises Gateway 불필요 (Databricks에 직접 연결)
- 스케줄 갱신: 최대 8회/일 (Pro), 48회/일 (Premium)

from databricks import sql

with sql.connect(
    server_hostname="<workspace-url>.cloud.databricks.com",
    http_path="/sql/1.0/warehouses/<warehouse-id>",
    access_token="<personal-access-token>"
) as connection:
    with connection.cursor() as cursor:
        cursor.execute("SELECT * FROM sales.gold.revenue_metrics LIMIT 100")
        result = cursor.fetchall()

-- Metric View 정의 (시맨틱 레이어의 핵심)
CREATE METRIC VIEW sales.gold.revenue_metrics AS
SELECT
  date_trunc('month', order_date) AS period,
  region,
  SUM(amount)                          AS total_revenue,
  COUNT(DISTINCT customer_id)           AS unique_customers,
  SUM(amount) / COUNT(DISTINCT customer_id) AS revenue_per_customer
FROM sales.gold.orders
GROUP BY 1, 2;

-- Tableau, Power BI, Genie 모두 이 Metric View를 소스로 사용
-- → 지표 정의가 BI 도구마다 달라지는 문제 해소

-- Materialized View 예시: 일별 매출 집계를 사전 계산
CREATE MATERIALIZED VIEW sales.gold.daily_revenue_mv AS
SELECT
  DATE(order_date)    AS order_day,
  region,
  SUM(amount)         AS daily_revenue
FROM sales.silver.orders
GROUP BY 1, 2;
-- BI 도구는 원본 대신 이 MV를 조회 → 쿼리 속도 대폭 향상

-- SAP 데이터 수집 패턴 예시
-- 방법 1: Lakehouse Federation (소량 실시간)
CREATE CONNECTION sap_hana_conn
TYPE JDBC
OPTIONS (
  host '<sap-hana-host>',
  port '30015',
  user '<user>',
  password secret('<scope>', '<key>')
);

-- 방법 2: 배치 수집 대량 권장 (Fivetran / Informatica → Bronze)
-- Bronze → Silver → Gold (Medallion) 파이프라인 구성 후
-- Genie / AI/BI Dashboard를 Gold 테이블에 연결