Unity Catalog란?

-- 완전한 3-Level 네임스페이스로 테이블 참조
SELECT * FROM production.ecommerce.orders;

-- 기본 카탈로그와 스키마 설정
USE CATALOG production;
USE SCHEMA ecommerce;

-- 설정 후 간단하게 참조 가능
SELECT * FROM orders;

-- Managed Table: UC가 데이터 수명주기를 완전히 관리
-- DROP TABLE 시 데이터도 함께 삭제됩니다
CREATE TABLE production.ecommerce.orders (
    order_id BIGINT,
    customer_id BIGINT,
    order_date DATE,
    total_amount DECIMAL(10, 2)
);

-- External Table: UC가 메타데이터만 관리
-- DROP TABLE 시 메타데이터만 삭제되고, 실제 데이터는 스토리지에 남습니다
CREATE TABLE production.ecommerce.legacy_orders
LOCATION 's3://my-bucket/legacy/orders'
AS SELECT * FROM hive_metastore.default.old_orders;

-- Storage Credential 생성 (관리자)
CREATE STORAGE CREDENTIAL my_aws_credential
WITH (
    AWS_IAM_ROLE.ROLE_ARN = 'arn:aws:iam::123456789012:role/databricks-role'
);

-- External Location 생성
CREATE EXTERNAL LOCATION my_data_location
URL 's3://my-bucket/data/'
WITH (STORAGE CREDENTIAL my_aws_credential);

-- External Location을 사용하는 External Table 생성
CREATE TABLE production.ecommerce.external_orders
LOCATION 's3://my-bucket/data/orders/';

-- 그룹에 카탈로그 접근 권한 부여
GRANT USE CATALOG ON CATALOG production TO `data_analysts`;
GRANT USE SCHEMA ON SCHEMA production.ecommerce TO `data_analysts`;
GRANT SELECT ON TABLE production.ecommerce.orders TO `data_analysts`;

-- 모든 테이블에 대한 읽기 권한 부여
GRANT SELECT ON SCHEMA production.ecommerce TO `data_analysts`;

-- 개발용 카탈로그 생성
CREATE CATALOG IF NOT EXISTS dev_ecommerce
COMMENT '이커머스 개발 환경 카탈로그';

-- 스키마 생성
CREATE SCHEMA IF NOT EXISTS dev_ecommerce.orders
COMMENT '주문 관련 데이터';

CREATE SCHEMA IF NOT EXISTS dev_ecommerce.customers
COMMENT '고객 관련 데이터';

-- 테이블 생성
CREATE TABLE dev_ecommerce.orders.transactions (
    transaction_id BIGINT GENERATED ALWAYS AS IDENTITY,
    customer_id BIGINT NOT NULL,
    product_id BIGINT NOT NULL,
    quantity INT,
    total_amount DECIMAL(10, 2),
    order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP(),
    status STRING DEFAULT 'PENDING'
)
COMMENT '주문 트랜잭션 테이블'
TBLPROPERTIES ('quality' = 'gold');

-- 뷰 생성
CREATE VIEW dev_ecommerce.orders.daily_summary AS
SELECT
    DATE(order_date) AS order_day,
    COUNT(*) AS total_orders,
    SUM(total_amount) AS total_revenue
FROM dev_ecommerce.orders.transactions
GROUP BY DATE(order_date);

-- Managed Volume 생성
CREATE VOLUME dev_ecommerce.orders.raw_files
COMMENT '원본 CSV, JSON 파일 저장';

-- Volume에 파일 업로드 후 테이블로 로드
-- PUT 명령 또는 UI로 파일 업로드 후:
CREATE TABLE dev_ecommerce.orders.imported_data
AS SELECT * FROM read_files(
    '/Volumes/dev_ecommerce/orders/raw_files/sales.csv',
    format => 'csv',
    header => true
);

-- 분석팀 그룹에 읽기 권한 부여
GRANT USE CATALOG ON CATALOG dev_ecommerce TO `analysts`;
GRANT USE SCHEMA ON SCHEMA dev_ecommerce.orders TO `analysts`;
GRANT SELECT ON SCHEMA dev_ecommerce.orders TO `analysts`;

-- 엔지니어 그룹에 쓰기 권한 부여
GRANT USE CATALOG ON CATALOG dev_ecommerce TO `engineers`;
GRANT ALL PRIVILEGES ON SCHEMA dev_ecommerce.orders TO `engineers`;

-- 권한 확인
SHOW GRANTS ON SCHEMA dev_ecommerce.orders;

-- us-east-1 Metastore에서 Share 생성
CREATE SHARE global_customer_data;
ALTER SHARE global_customer_data ADD TABLE prod.customers.gold_customer_360;

-- eu-west-1 Metastore에서 수신자로 등록하여 데이터 접근
CREATE CATALOG IF NOT EXISTS shared_us_data;
-- 관리자가 Account Console에서 Sharing 연결 설정

-- 단일 Metastore (ap-northeast-2)에 여러 리전의 스토리지 연결
CREATE STORAGE CREDENTIAL us_east_cred
  WITH (AWS_IAM_ROLE 'arn:aws:iam::role/us-east-access');

CREATE EXTERNAL LOCATION us_east_data
  URL 's3://us-east-bucket/data/'
  WITH (STORAGE CREDENTIAL us_east_cred);

-- 한국 Workspace에서 미국 데이터 접근 가능
SELECT * FROM catalog.us_data.transactions LIMIT 10;

[운영 원칙]
1. 데이터 레지던시가 필수인 리전 → 별도 Metastore
2. 같은 규제 권역 내 → 단일 Metastore 공유
3. 리전 간 데이터 교환 → Delta Sharing
4. 글로벌 거버넌스 정책 → Account 수준에서 관리