External Location

CREATE EXTERNAL LOCATION [IF NOT EXISTS] <location_name>
  URL '<cloud_storage_url>'
  WITH (STORAGE CREDENTIAL <credential_name>)
  [COMMENT '<설명>'];

-- AWS S3 External Location 생성
CREATE EXTERNAL LOCATION production_data
  URL 's3://my-company-datalake/production/'
  WITH (STORAGE CREDENTIAL aws_s3_credential)
  COMMENT '프로덕션 데이터 레이크 경로';

-- Azure ADLS External Location 생성
CREATE EXTERNAL LOCATION production_data
  URL 'abfss://datalake@mycompany.dfs.core.windows.net/production/'
  WITH (STORAGE CREDENTIAL azure_managed_identity_cred)
  COMMENT '프로덕션 데이터 레이크 경로';

-- 외부 테이블 생성 (External Location 경로 안에 데이터 저장)
CREATE TABLE production.ecommerce.orders_external
  (order_id BIGINT, customer_id BIGINT, amount DECIMAL(10,2), order_date DATE)
  LOCATION 's3://my-company-datalake/production/ecommerce/orders/';

-- 외부 볼륨 생성
CREATE EXTERNAL VOLUME production.ecommerce.raw_files
  LOCATION 's3://my-company-datalake/production/ecommerce/raw/';

-- 데이터 엔지니어 그룹에 외부 테이블 생성 권한 부여
GRANT CREATE EXTERNAL TABLE ON EXTERNAL LOCATION production_data
  TO `data_engineers`;

-- 분석가 그룹에 파일 읽기 권한 부여
GRANT READ FILES ON EXTERNAL LOCATION production_data
  TO `analysts`;

-- 현재 권한 확인
SHOW GRANTS ON EXTERNAL LOCATION production_data;

-- 모든 External Location 목록 조회
SHOW EXTERNAL LOCATIONS;

-- 특정 External Location 상세 정보
DESCRIBE EXTERNAL LOCATION production_data;

-- URL 변경
ALTER EXTERNAL LOCATION production_data
  SET URL 's3://my-company-datalake/production-v2/';

-- Storage Credential 변경
ALTER EXTERNAL LOCATION production_data
  SET STORAGE CREDENTIAL new_credential;

-- 코멘트 수정
ALTER EXTERNAL LOCATION production_data
  SET COMMENT '프로덕션 데이터 레이크 (2025년 마이그레이션 완료)';

-- 삭제 (해당 로케이션을 참조하는 외부 테이블이 없어야 합니다)
DROP EXTERNAL LOCATION production_data;

-- External Location 연결 테스트
VALIDATE EXTERNAL LOCATION production_data;

> 💡 **SA 권장**: 대부분의 고객에게는 **환경 + 도메인 레벨** 조합을 권장합니다. 너무 세분화하면 관리 부담이 크고, 너무 넓으면 거버넌스가 약해집니다. 초기에는 넓게 시작하고, 보안 요구사항이 구체화되면 점진적으로 세분화하는 것이 좋습니다.

---

## 중첩 Location과 우선순위 규칙

하나의 클라우드 경로가 여러 External Location에 해당할 수 있는 "중첩(Overlap)" 상황이 발생할 수 있습니다. Unity Catalog는 이를 **가장 구체적인(가장 긴) 경로 우선** 규칙으로 처리합니다.

### 중첩 규칙 예시

```sql
-- Location A: s3://bucket/data/
-- Location B: s3://bucket/data/finance/
-- Location C: s3://bucket/data/finance/reports/

-- 외부 테이블 생성 시:
CREATE TABLE t1 LOCATION 's3://bucket/data/finance/reports/q1/';
-- → Location C가 적용됨 (가장 구체적인 경로)

CREATE TABLE t2 LOCATION 's3://bucket/data/finance/transactions/';
-- → Location B가 적용됨

CREATE TABLE t3 LOCATION 's3://bucket/data/marketing/';
-- → Location A가 적용됨

-- 1. Storage Credential 생성 (Databricks 계정의 IAM Role)
CREATE STORAGE CREDENTIAL cross_account_cred
  WITH (AWS_IAM_ROLE = 'arn:aws:iam::111111111111:role/uc-access-role');

-- 2. External Location 생성 (다른 계정의 S3 경로)
CREATE EXTERNAL LOCATION account_b_data
  URL 's3://account-b-datalake/shared-data/'
  WITH (STORAGE CREDENTIAL cross_account_cred);

-- 3. 연결 검증
VALIDATE EXTERNAL LOCATION account_b_data;

비용이 높은:
  External Location: s3://bucket/         (수백만 파일 포함)
  Auto Loader가 전체 버킷을 스캔 → 수분 소요

효율적:
  External Location: s3://bucket/events/  (수만 파일)
  Auto Loader가 특정 경로만 스캔 → 수초 소요

-- ❌ 불가: 와일드카드
CREATE EXTERNAL LOCATION test
  URL 's3://bucket/data/*/events/';

-- ✅ 가능: 정확한 prefix
CREATE EXTERNAL LOCATION test
  URL 's3://bucket/data/region1/events/';

1. 기존 HMS 외부 테이블의 LOCATION 경로 파악
   DESCRIBE FORMATTED hive_metastore.schema.table;

2. 해당 경로를 포함하는 External Location 생성
   CREATE EXTERNAL LOCATION ...;

3. UC에 외부 테이블 재생성 (동일 LOCATION 지정)
   CREATE TABLE catalog.schema.table LOCATION 's3://...';

4. HMS 테이블 삭제 (데이터는 유지)
   DROP TABLE hive_metastore.schema.table;