Managed Table vs External Table vs Foreign Table

-- LOCATION을 지정하지 않으면 자동으로 Managed Table이 됩니다
CREATE TABLE catalog.schema.customers (
    customer_id BIGINT,
    name STRING,
    email STRING,
    signup_date DATE
);

-- USING DELTA를 명시할 수도 있지만, 기본값이 Delta이므로 생략 가능합니다

-- 스키마의 관리형 스토리지 위치 확인
DESCRIBE SCHEMA EXTENDED catalog.my_schema;

-- LOCATION을 지정하면 External Table이 됩니다
CREATE TABLE catalog.schema.sales_external (
    sale_id BIGINT,
    product STRING,
    amount DECIMAL(10, 2),
    sale_date DATE
)
LOCATION 's3://my-bucket/data/sales/';

-- 기존 데이터가 있는 경로를 가리킬 수도 있습니다
CREATE TABLE catalog.schema.existing_data
LOCATION 's3://my-bucket/existing-delta-table/';

-- External Location 생성 (관리자가 수행)
CREATE EXTERNAL LOCATION my_external_location
URL 's3://my-bucket/data/'
WITH (STORAGE CREDENTIAL my_credential);

-- 1. 먼저 Connection 생성 (관리자가 수행)
CREATE CONNECTION my_mysql_conn
TYPE MYSQL
OPTIONS (
    host 'mysql-server.example.com',
    port '3306',
    user 'readonly_user',
    password secret('scope', 'mysql_password')
);

-- 2. Foreign Catalog 생성
CREATE FOREIGN CATALOG mysql_catalog
USING CONNECTION my_mysql_conn;

-- 3. Foreign Table 조회 (자동으로 등록됨)
SELECT * FROM mysql_catalog.my_database.orders;

-- 테이블의 상세 정보 확인
DESCRIBE DETAIL catalog.schema.my_table;

-- 결과에서 'is_managed_location' 컬럼으로 Managed/External 구분 가능
-- 또는 SHOW CREATE TABLE로 LOCATION 유무 확인
SHOW CREATE TABLE catalog.schema.my_table;

실제 비용 사례:
- External Table 500개 운영
- 각 테이블에 VACUUM을 수동으로 안 돌림
- 오래된 파일 버전이 계속 누적
- 월 스토리지 비용: $3,200 → Managed Table로 전환 후 $1,100
- 60% 이상 절감 (Predictive Optimization이 자동으로 VACUUM 수행)

-- ===== 1단계: 현황 파악 =====
-- External Table 목록과 데이터 크기 확인
SELECT
    table_catalog,
    table_schema,
    table_name,
    table_type,
    data_source_format,
    storage_path
FROM system.information_schema.tables
WHERE table_type = 'EXTERNAL'
ORDER BY table_catalog, table_schema;

-- ===== 2단계: Managed Table로 데이터 복사 (CTAS) =====
-- 가장 안전한 방법: CREATE TABLE AS SELECT
CREATE TABLE catalog.schema.orders_managed AS
SELECT * FROM catalog.schema.orders_external;

-- ===== 3단계: 다운스트림 파이프라인을 새 테이블로 전환 =====
-- 뷰를 사용하면 전환 기간 동안 하위 호환성을 유지할 수 있습니다
CREATE OR REPLACE VIEW catalog.schema.orders AS
SELECT * FROM catalog.schema.orders_managed;  -- 포인터만 변경

-- ===== 4단계: 안정성 확인 후 External Table 및 원본 데이터 정리 =====
-- 최소 1~2주 병행 운영 후 정리
DROP TABLE catalog.schema.orders_external;  -- 메타데이터만 삭제됨
-- S3/ADLS의 원본 데이터는 별도로 삭제해야 합니다

-- DEEP CLONE: 히스토리를 포함한 전체 복사 (대용량에 적합)
CREATE TABLE catalog.schema.orders_managed
DEEP CLONE catalog.schema.orders_external;

실제 성능 측정 사례 (1,000만 행 테이블):
- Delta Lake (Managed Table): SELECT COUNT(*) → 0.8초
- Foreign Table (PostgreSQL): SELECT COUNT(*) → 12.5초
- Foreign Table + WHERE 절: → 3.2초 (Predicate Pushdown 적용)
- Foreign Table + 복잡한 JOIN: → 45초+ (네트워크 지연 + 원본 DB 부하)

-- 1단계: Foreign Table로 데이터 탐색
SELECT
    COUNT(*) AS total_rows,
    COUNT(DISTINCT customer_id) AS unique_customers,
    MIN(order_date) AS earliest,
    MAX(order_date) AS latest
FROM mysql_catalog.ecommerce.orders;

-- 2단계: 가치가 확인되면 Managed Table로 초기 적재
CREATE TABLE production.bronze.mysql_orders AS
SELECT * FROM mysql_catalog.ecommerce.orders
WHERE order_date >= '2024-01-01';

-- 3단계: 이후부터는 Lakeflow Connect나 Auto Loader로 증분 동기화