심화: 멀티 리전 UC 통합 전략
왜 멀티 리전이 필요한가?
엔터프라이즈 환경에서는 여러 리전에 Workspace가 분산 되어 있는 경우가 많습니다:- 데이터 레지던시: GDPR 등 규제로 EU 데이터는 EU 리전에 저장해야 합니다
- 지연시간: 사용자가 여러 국가에 분산되어 있어 각 리전에 Workspace가 필요합니다
- DR(재해 복구): 리전 장애에 대비하여 보조 리전을 운영합니다
현재 UC Metastore 구조
Unity Catalog의 Metastore는 리전 단위 로 생성됩니다. 각 리전의 Workspace는 해당 리전의 Metastore에 연결됩니다.| Account | Metastore | Workspace |
|---|---|---|
| Databricks Account | us-east-1 | Workspace A (프로덕션), Workspace B (개발) |
| eu-west-1 | Workspace C (EU 데이터) | |
| ap-northeast-2 | Workspace D (한국) |
멀티 리전 통합 전략
전략 1: Delta Sharing으로 크로스 리전 데이터 공유
가장 권장되는 방식 입니다. 각 리전의 Metastore는 독립적으로 유지하되, Delta Sharing으로 리전 간 데이터를 공유 합니다.| 장점 | 단점 |
|---|---|
| 데이터 레지던시 유지 (데이터가 이동하지 않음) | 리전 간 쿼리 시 네트워크 지연 |
| 각 리전의 거버넌스 독립 운영 | Share 관리 오버헤드 |
| 네트워크 비용 예측 가능 | 실시간 동기화 아님 |
전략 2: 단일 리전 Metastore + 멀티 리전 Storage
하나의 Metastore 에 여러 리전의 Workspace를 연결하되, External Location으로 각 리전의 스토리지를 참조 합니다.| 장점 | 단점 |
|---|---|
| 거버넌스 통합 (권한, 리니지 한 곳에서) | 크로스 리전 쿼리 시 데이터 전송 비용 |
| 관리 단순화 | 데이터 레지던시 위반 가능성 (메타데이터가 한 리전) |
| 통합 검색, 통합 리니지 | Metastore 리전 장애 시 전체 영향 |
전략 3: 하이브리드 (권장)
| 구성 요소 | 전략 |
|---|---|
| 한국 + 일본(아시아) | 하나의 Metastore (ap-northeast-2) 공유 |
| EU(GDPR) | 별도 Metastore (eu-west-1) |
| 미국 | 별도 Metastore (us-east-1) |
| 리전 간 공유 | Delta Sharing으로 필요한 테이블만 공유 |
| 글로벌 사용자 | Account 수준 SCIM으로 통합 관리 |
Account-level 거버넌스
리전별 Metastore가 분산되어 있어도, Account 수준 에서 다음을 통합 관리할 수 있습니다:| 관리 영역 | Account 수준 | Metastore 수준 |
|---|---|---|
| 사용자/그룹 | ✅ SCIM으로 통합 관리 | Metastore 멤버십으로 접근 제어 |
| Service Principal | ✅ 통합 관리 | Metastore별 권한 부여 |
| 보안 정책 | ✅ IP Access List, SSO | Metastore별 접근 제어 |
| 빌링 | ✅ 통합 비용 추적 | 리전별 사용량 분석 |
| 감사 | ✅ Account 감사 로그 | Metastore별 상세 로그 |
💡 핵심: 멀티 리전 환경에서는 ”** 데이터는 분산, 거버넌스는 통합**” 이 원칙입니다. 데이터가 물리적으로 어디에 있든, Account 수준에서 사용자 관리와 보안 정책을 일관되게 적용하고, Delta Sharing으로 필요한 데이터만 크로스 리전 공유합니다.
정리
| 핵심 개념 | 설명 |
|---|---|
| Unity Catalog | Databricks의 통합 데이터 거버넌스 솔루션입니다 |
| 3-Level 네임스페이스 | catalog.schema.object 형태로 모든 자산을 참조합니다 |
| Metastore | 리전별 메타데이터 저장소이며, 여러 Workspace가 공유합니다 |
| Storage Credential | 클라우드 스토리지 접근을 위한 인증 정보입니다 |
| External Location | 외부 스토리지 경로를 UC에서 관리하는 방법입니다 |
| Identity Federation | Account 수준에서 사용자/그룹을 통합 관리합니다 |
| Managed vs External | Managed는 UC가 데이터까지, External은 메타데이터만 관리합니다 |