기본 개념과 Volume 유형

/Volumes/<catalog>/<schema>/<volume>/<path>

예시:
/Volumes/production/ecommerce/raw_files/orders/2025/03/data.csv

-- Managed Volume 생성 (권장)
CREATE VOLUME production.ecommerce.raw_files
COMMENT '원본 파일 저장소';

-- External Volume 생성
CREATE EXTERNAL VOLUME production.ecommerce.external_data
LOCATION 's3://my-bucket/external-data/'
COMMENT '외부 스토리지 연결';

-- 파일 목록 조회
LIST '/Volumes/production/ecommerce/raw_files/';

-- 파일을 테이블로 읽기
SELECT * FROM read_files(
    '/Volumes/production/ecommerce/raw_files/orders/',
    format => 'csv',
    header => true
);

-- 파일에서 텍스트 추출 (AI)
SELECT ai_parse_document(
    '/Volumes/production/ecommerce/raw_files/contracts/agreement.pdf',
    'markdown'
) AS content;

# 파일 업로드
dbutils.fs.cp(
    "file:/tmp/report.pdf",
    "/Volumes/production/ecommerce/reports/report_2025.pdf"
)

# 파일 목록 조회
files = dbutils.fs.ls("/Volumes/production/ecommerce/raw_files/")
for f in files:
    print(f"{f.name}  {f.size} bytes")

# 파일 다운로드
dbutils.fs.cp(
    "/Volumes/production/ecommerce/reports/report.pdf",
    "file:/tmp/downloaded_report.pdf"
)

# pandas로 CSV 읽기
import pandas as pd
df = pd.read_csv("/Volumes/production/ecommerce/raw_files/data.csv")

# CLI로 파일 업로드
databricks fs cp ./local_file.csv /Volumes/production/ecommerce/raw_files/

# Volume의 파일 목록
databricks fs ls /Volumes/production/ecommerce/raw_files/

-- Volume 읽기 권한 부여
GRANT READ VOLUME ON VOLUME production.ecommerce.raw_files TO `analysts`;

-- Volume 쓰기 권한 부여
GRANT WRITE VOLUME ON VOLUME production.ecommerce.raw_files TO `data_engineers`;

-- 권한 확인
SHOW GRANTS ON VOLUME production.ecommerce.raw_files;