원문: Introducing Lakehouse Federation Capabilities in Unity Catalog

참고 요청하신 URL(lakehouse-federation-querying-external-data)은 현재 404 오류를 반환합니다. 광범위한 검색 결과, 해당 슬러그의 블로그 포스트는 존재하지 않으며, 동일한 주제(Lakehouse Federation + 외부 데이터 쿼리)를 다루는 가장 유사한 공식 포스트들을 종합하여 번역합니다. 주요 출처: Databricks 공식 블로그(2023년 6월 발표, 2024년 8월 GA 발표), 공식 보도자료(PR Newswire), 공식 문서(docs.databricks.com).

​

Lakehouse Federation: 외부 데이터를 이동 없이 쿼리하기

• Lakehouse Federation은 데이터를 이동·복사하지 않고도 MySQL, PostgreSQL, Snowflake, Amazon Redshift, Azure Synapse, Google BigQuery 등 외부 플랫폼을 Unity Catalog에서 단일 인터페이스로 쿼리·거버넌스할 수 있습니다.
• Query Federation (JDBC 기반 푸시다운 쿼리)과 Catalog Federation (오브젝트 스토리지 직접 접근)의 두 가지 방식을 제공하며, 각각 용도에 맞게 선택할 수 있습니다.
• 2024년 8월 GA 전환 시점에 이미 5,000개 이상의 Databricks 고객이 Lakehouse Federation을 활용하고 있으며, 행·열 수준 접근 제어, 데이터 리니지, 태그 등 Unity Catalog의 거버넌스 기능이 외부 소스에도 일관되게 적용됩니다.

​

1. 문제의 본질: 분산된 데이터 사일로

​

2. Lakehouse Federation이란?

“우리는 Databricks를 데이터, 분석, AI를 위한 가장 개방적이고 유연한 레이크하우스 플랫폼으로 만들어가고 있습니다. 데이터가 어디에 있든, 어떤 형식이든 상관없이 모든 데이터를 통합하도록 돕겠다는 것을 분명히 밝히고 싶습니다. 하나의 시스템을 통해 필요한 모든 데이터에 접근할 수 있게 함으로써 더 많은 혁신이 이루어질 것이며, 그 혁신이 보안을 희생하지 않는다는 점이 가장 중요합니다.”

​

3. 두 가지 연합 방식

​

4. 지원 데이터 소스

​

Query Federation 지원 소스

​

Catalog Federation 지원 소스

​

5. 핵심 구성 요소

​

Connection (연결)

-- PostgreSQL 연결 생성 예시
CREATE CONNECTION my_postgresql_conn
TYPE postgresql
OPTIONS (
  host '<postgresql-host>',
  port '5432',
  user secret ('<secret-scope>', '<secret-key-user>'),
  password secret ('<secret-scope>', '<secret-key-password>')
);

-- 연결에 대한 사용 권한 부여
GRANT USE CONNECTION ON CONNECTION my_postgresql_conn TO `data-engineers@company.com`;

​

Foreign Catalog (외부 카탈로그)

-- PostgreSQL 외부 카탈로그 생성 (데이터베이스 지정 필요)
CREATE FOREIGN CATALOG my_postgresql_catalog
USING CONNECTION my_postgresql_conn
OPTIONS (database 'my_database');

-- MySQL 외부 카탈로그 생성 (데이터베이스 지정 불필요 - 2레이어 네임스페이스)
CREATE FOREIGN CATALOG my_mysql_catalog
USING CONNECTION my_mysql_conn;

-- 카탈로그 접근 권한 부여
GRANT USE CATALOG ON CATALOG my_postgresql_catalog TO `analysts@company.com`;
GRANT SELECT ON ALL TABLES IN CATALOG my_postgresql_catalog TO `analysts@company.com`;

​

6. 실전 쿼리: 여러 소스 조인하기

-- SQL Server의 고객 데이터와 MySQL의 주문 데이터를 조인
SELECT
  c.customer_id,
  c.customer_name,
  c.region,
  COUNT(o.order_id) AS total_orders,
  SUM(o.order_amount) AS total_revenue
FROM my_sqlserver_catalog.sales.customers c
JOIN my_mysql_catalog.orders.order_history o
  ON c.customer_id = o.customer_id
WHERE c.region = 'APAC'
  AND o.order_date >= '2024-01-01'
GROUP BY c.customer_id, c.customer_name, c.region
ORDER BY total_revenue DESC;

​

7. Unity Catalog를 통한 통합 거버넌스

​

8. 성능 최적화: 구체화된 뷰(Materialized Views)

-- 외부 소스를 기반으로 한 구체화된 뷰 생성
CREATE MATERIALIZED VIEW main.analytics.customer_orders_mv AS
SELECT
  c.customer_id,
  c.customer_name,
  COUNT(o.order_id) AS order_count,
  SUM(o.revenue) AS total_revenue
FROM my_postgresql_catalog.prod.customers c
JOIN my_mysql_catalog.orders.transactions o
  ON c.customer_id = o.customer_id
GROUP BY c.customer_id, c.customer_name;

​

9. 시스템 요구 사항

주의 알려진 제한 사항:

• 대부분의 외부 소스에 대한 쿼리는 읽기 전용 입니다 (Hive 메타스토어 연합 제외).
• Databricks 쿼리 캐싱은 연합 쿼리에서 지원되지 않습니다.
• 결과 집합이 너무 크면 executor 메모리 문제가 발생할 수 있습니다. 이런 경우 구체화된 뷰나 필터링을 통해 데이터 양을 줄이는 것을 권장합니다.
• 파일 기반 외부 데이터(S3, ADLS 등)의 경우 Lakehouse Federation보다 Unity Catalog의 외부 테이블(External Tables), 뷰, 볼륨(Volumes)이 더 적합합니다.

​

10. 실제 고객 사례

​

Bayer — 농업 IoT 데이터 통합

“Databricks의 Lakehouse Federation을 통해 데이터 과학자와 비즈니스 사용자 모두 일관된 권한 관리와 통합 사용자 인터페이스로 다양한 데이터 소스에 접근할 수 있게 되었습니다. 우리는 데이터 형식을 Delta Lake로 표준화하는 작업을 진행 중이지만, 쿼리 연합 덕분에 데이터 추출에 투자하기 전에 민첩하게 반복 작업을 할 수 있어서 매우 만족스럽습니다.”

​

SEGA Europe — 게임 데이터 통합

“Lakehouse Federation은 여러 소스와 여러 클라우드에 걸친 데이터를 결합하여 한 곳에서 모두 조회할 수 있는 능력을 제공합니다. 이제 데이터를 원본 소스에 남겨두면서도 Databricks Lakehouse에서 활용할 수 있습니다. 자주 새로 고침되는 재무 데이터를 더 이상 이동할 필요가 없어 소중한 시간을 아낄 수 있고, 이 시간을 소비자에게 최고의 게임 경험을 제공하는 데 집중할 수 있습니다.”

​

Shell — 에너지 전환 데이터 관리

“Lakehouse Federation을 통해 기존 데이터 환경을 Unity Catalog로 통합하는 작업을 더 빠르게 진행할 수 있게 되었습니다. 덕분에 Shell의 데이터 거버넌스가 단순해졌습니다. 더 많은 데이터 세트가 한 곳에서 발견 가능해지고, 인증이 표준화되며, 공통 프로그래밍 언어로 데이터 세트 전반에 걸친 쿼리가 가능해졌습니다.”

​

11. GA 발표 (2024년 8월): 새로운 기능

​

향상된 푸시다운(Pushdown) 지원

​

패스워드리스 인증

• Azure SQL/Synapse: Azure AD/Entra ID 기반 인증
• Snowflake: OAuth 기반 인증

​

개선된 Query Profile

​

광범위한 고객 채택

​

12. Hive 메타스토어 인터페이스: 광범위한 연결성

• Amazon EMR
• Apache Spark (자체 관리)
• Amazon Athena
• Presto
• Trino
• 기타 HMS 호환 플랫폼

​

13. 데이터 민주화와 비즈니스 가치

​

14. 관련 리소스

• What is Lakehouse Federation? (공식 문서 - AWS)
• What is query federation? (공식 문서)
• Announcing General Availability of Lakehouse Federation (2024년 8월 GA 블로그)
• GA for BigQuery & Preview for Teradata/Oracle (2025년 3월 블로그)
• Lakehouse Federation Product Tour (데모)