정형·반정형·비정형 데이터

{
  "event_id": "evt_20250316_001",
  "timestamp": "2025-03-16T14:32:05Z",
  "user": {
    "id": 12345,
    "name": "김철수",
    "tier": "premium"
  },
  "action": "purchase",
  "details": {
    "product_id": "PRD-789",
    "quantity": 2,
    "amount": 45000,
    "payment_method": "credit_card",
    "coupon_applied": true,
    "coupon_code": "SPRING2025"
  },
  "device": {
    "type": "mobile",
    "os": "iOS 18.3",
    "app_version": "4.2.1"
  }
}

-- Delta 테이블로 저장하고, SQL로 바로 분석
SELECT customer_name, SUM(amount) AS total_spent
FROM catalog.schema.orders
GROUP BY customer_name
ORDER BY total_spent DESC;

-- JSON 데이터를 읽어서 중첩 구조를 펼치기
SELECT
  raw_data:user.id::INT AS user_id,
  raw_data:user.name::STRING AS user_name,
  raw_data:action::STRING AS action,
  raw_data:details.amount::DECIMAL(10,2) AS amount
FROM bronze_events;

# Unity Catalog의 Volume에 저장된 PDF 파일을 AI로 파싱
from databricks.sdk import WorkspaceClient

# Volume에 저장된 파일 경로
pdf_path = "/Volumes/catalog/schema/documents/contract.pdf"

# ai_parse_document 함수로 PDF에서 텍스트 추출
result = spark.sql(f"""
  SELECT ai_parse_document('{pdf_path}', 'text') AS parsed_text
""")

// 레코드 A: coupon 정보가 있음
{"order_id": 1, "details": {"coupon": {"code": "SPRING", "discount": 0.1}}}

// 레코드 B: coupon 필드 자체가 없음
{"order_id": 2, "details": {"amount": 50000}}

// 레코드 C: coupon이 null
{"order_id": 3, "details": {"coupon": null}}

// 어떤 레코드에서는 숫자
{"price": 15000}

// 어떤 레코드에서는 문자열
{"price": "15,000원"}

// 어떤 레코드에서는 객체
{"price": {"amount": 15000, "currency": "KRW"}}

{
  "order_id": 1,
  "items": [
    {"product": "노트북", "options": [{"color": "silver"}, {"memory": "16GB"}]},
    {"product": "마우스", "options": [{"color": "black"}]}
  ]
}

from pyspark.sql.functions import explode, col

# items 배열을 펼치기
df_items = df.select("order_id", explode("items").alias("item"))

# item 내부의 options 배열도 펼치기
df_options = df_items.select(
    "order_id",
    col("item.product"),
    explode("item.options").alias("option")
)

-- Databricks AI Functions로 비정형 텍스트 분석 (SQL만으로 가능!)
SELECT
    review_id,
    review_text,
    ai_classify(review_text, ARRAY('긍정', '부정', '중립')) AS sentiment,
    ai_extract(review_text, ARRAY('배송', '품질', '가격', '서비스')) AS topics
FROM catalog.schema.customer_reviews;