무료 체험 시작하기

# 셀 1: Spark 버전 확인
print(f"Spark 버전: {spark.version}")
print(f"Python 버전: {sys.version}")
print("Hello, Databricks! 🎉")

# 셀 2: 샘플 데이터 생성 및 분석
from pyspark.sql.functions import col, sum, avg, count

# 쇼핑몰 주문 데이터 생성
orders = spark.createDataFrame([
    (1, "노트북", "전자제품", 1200000, "2025-03-01"),
    (2, "키보드", "전자제품", 89000, "2025-03-01"),
    (3, "운동화", "패션", 159000, "2025-03-02"),
    (4, "텀블러", "생활용품", 25000, "2025-03-02"),
    (5, "모니터", "전자제품", 450000, "2025-03-03"),
    (6, "가방", "패션", 198000, "2025-03-03"),
    (7, "마우스", "전자제품", 65000, "2025-03-03"),
    (8, "쿠션", "생활용품", 35000, "2025-03-04"),
], ["order_id", "product", "category", "price", "order_date"])

# 카테고리별 매출 집계
summary = orders.groupBy("category").agg(
    count("*").alias("주문건수"),
    sum("price").alias("총매출"),
    avg("price").alias("평균단가")
).orderBy(col("총매출").desc())

display(summary)

%sql
-- 셀 3: SQL로 같은 분석 수행
-- (위에서 만든 DataFrame을 임시 뷰로 등록)

# 셀 4: 임시 뷰 생성
orders.createOrReplaceTempView("orders")

%sql
-- 셀 5: SQL로 일별 매출 추이 조회
SELECT
    order_date AS 주문일,
    COUNT(*) AS 주문건수,
    FORMAT_NUMBER(SUM(price), 0) AS 총매출
FROM orders
GROUP BY order_date
ORDER BY order_date

# 셀 6: Delta 테이블 생성
orders.write.mode("overwrite").saveAsTable("main.default.trial_orders")
print("Delta 테이블이 생성되었습니다!")

%sql
-- 셀 7: 데이터를 수정해봅니다
UPDATE main.default.trial_orders SET price = 999000 WHERE product = '노트북';

-- 셀 8: 변경 이력 확인 (Delta Lake의 타임 트래블)
DESCRIBE HISTORY main.default.trial_orders;

-- 셀 9: 수정 전 데이터를 조회 (버전 0 = 최초 상태)
SELECT * FROM main.default.trial_orders VERSION AS OF 0 WHERE product = '노트북';
-- price가 원래의 1200000으로 나옵니다!

%sql
-- NYC 택시 데이터 (약 20만 건)
SELECT * FROM samples.nyctaxi.trips LIMIT 10;

-- TPC-H 벤치마크 데이터
SELECT * FROM samples.tpch.orders LIMIT 10;

-- 카탈로그, 스키마, 테이블을 직접 만들어 보세요
CREATE CATALOG IF NOT EXISTS trial_catalog;
CREATE SCHEMA IF NOT EXISTS trial_catalog.my_project;
CREATE TABLE trial_catalog.my_project.sample_data AS
SELECT * FROM samples.nyctaxi.trips LIMIT 10000;

-- 다른 사용자에게 권한 부여
GRANT SELECT ON TABLE trial_catalog.my_project.sample_data TO `analyst@company.com`;

-- 샘플 데이터셋으로 SQL 분석 (Full Trial에 기본 포함)
SELECT
    pickup_zip,
    COUNT(*) AS trip_count,
    ROUND(AVG(fare_amount), 2) AS avg_fare
FROM samples.nyctaxi.trips
GROUP BY pickup_zip
ORDER BY trip_count DESC
LIMIT 20;