첫 번째 실습

# 셀 1: Spark 버전 확인
print(f"Spark 버전: {spark.version}")
print("Hello, Databricks!")

# 셀 2: 샘플 데이터 생성 및 분석
from pyspark.sql.functions import col, sum, avg, count

orders = spark.createDataFrame([
    (1, "노트북", "전자제품", 1200000, "2025-03-01"),
    (2, "키보드", "전자제품", 89000, "2025-03-01"),
    (3, "운동화", "패션", 159000, "2025-03-02"),
    (4, "텀블러", "생활용품", 25000, "2025-03-02"),
    (5, "모니터", "전자제품", 450000, "2025-03-03"),
], ["order_id", "product", "category", "price", "order_date"])

summary = orders.groupBy("category").agg(
    count("*").alias("주문건수"),
    sum("price").alias("총매출"),
    avg("price").alias("평균단가")
).orderBy(col("총매출").desc())

display(summary)

orders.createOrReplaceTempView("orders")

%sql
SELECT
    order_date AS 주문일,
    COUNT(*) AS 주문건수,
    FORMAT_NUMBER(SUM(price), 0) AS 총매출
FROM orders
GROUP BY order_date
ORDER BY order_date

orders.write.mode("overwrite").saveAsTable("main.default.trial_orders")

%sql
-- 데이터 수정
UPDATE main.default.trial_orders SET price = 999000 WHERE product = '노트북';

-- 변경 이력 확인
DESCRIBE HISTORY main.default.trial_orders;

-- 수정 전 데이터 조회 (버전 0 = 최초 상태)
SELECT * FROM main.default.trial_orders VERSION AS OF 0 WHERE product = '노트북';
-- price가 원래의 1200000으로 나옵니다!

%sql
SELECT * FROM samples.nyctaxi.trips LIMIT 10;
SELECT * FROM samples.tpch.orders LIMIT 10;