Unity Catalog

​

Metastore란?

​

Step 1 — Account Console 접속

1. https://accounts.azuredatabricks.net 접속
2. Azure AD(Entra ID)로 로그인
3. 좌측 메뉴 → Catalog 클릭

​

Step 2 — Metastore 생성

1. Create metastore 클릭

주의 ADLS Gen2 경로 형식에 주의하세요.abfss://{container}@{storage-account}.dfs.core.windows.net/ 형식이어야 합니다. blob.core.windows.net이 아닌 dfs.core.windows.net을 사용해야 합니다.

​

Step 3 — Workspace 할당

1. 생성된 Metastore 클릭
2. Workspaces 탭 → Assign to workspaces 클릭
3. dbw-prod-koreacentral 선택 → Assign

성공 Metastore가 Workspace에 할당되면, 해당 Workspace에서 Unity Catalog 기능을 사용할 수 있습니다.

​

Catalog & Schema 생성

​

Step 1 — External Location 생성 (선택)

1. Workspace UI → Catalog→ External Locations→ Create external location

참고 Storage Credential 은 Metastore 생성 시 지정한 Access Connector를 통해 자동으로 생성됩니다. 추가 Storage Account를 연결하려면 해당 Storage Account에도 동일하게 Access Connector의 RBAC 역할을 부여해야 합니다.

​

Step 2 — Catalog 생성

1. Workspace UI → Catalog→ + Add→ Add a catalog

-- SQL로도 생성 가능
CREATE CATALOG IF NOT EXISTS prod_catalog;

​

Step 3 — Schema 생성

1. 생성된 Catalog 하위에서 + Add→ Add a schema

-- SQL로도 생성 가능
CREATE SCHEMA IF NOT EXISTS prod_catalog.bronze;

​

Step 4 — 테이블 생성 테스트

-- 테스트 테이블 생성
CREATE TABLE IF NOT EXISTS prod_catalog.bronze.test_table (
  id BIGINT GENERATED ALWAYS AS IDENTITY,
  name STRING,
  created_at TIMESTAMP DEFAULT current_timestamp()
);

-- 데이터 삽입
INSERT INTO prod_catalog.bronze.test_table (name)
VALUES ('Azure Databricks 테스트');

-- 조회 확인
SELECT * FROM prod_catalog.bronze.test_table;

성공 테이블 생성, 데이터 삽입, 조회가 모두 성공하면 Unity Catalog 구성이 완료된 것입니다. ADLS Gen2에 데이터가 Delta 형식으로 저장되었는지 Storage Account에서도 확인해 보세요.

​

3-Level Namespace

metastore
  └── catalog
        └── schema
              └── table / view / function