AI/BI 개요: 전통 BI의 한계와 AI/BI

​

왜 AI/BI가 등장했는가 — 전통 BI의 한계

💡 AI/BI 는 기존 BI 도구가 해결하지 못한 세 가지 근본 문제에 대한 Databricks의 해답입니다.

​

문제 1: 대시보드 피로 (Dashboard Fatigue)

​

문제 2: 셀프서비스의 실패 (Self-Service BI의 현실)

• 드래그앤드롭 인터페이스를 배우는 데 수 일이 걸립니다.
• 복잡한 계산식, LOD 표현식, DAX 함수는 결국 IT/분석가가 담당합니다.
• 데이터 모델 구조를 모르면 잘못된 집계를 만들어도 알아차리기 어렵습니다.

​

문제 3: 데이터 문해력 격차 (Data Literacy Gap)

​

Databricks AI/BI란?

💡 AI/BI 는 Databricks의 비즈니스 인텔리전스 솔루션으로, 데이터 분석가뿐만 아니라 비기술 비즈니스 사용자 도 데이터에서 인사이트를 얻을 수 있도록 설계된 도구 모음입니다.

• 레이크하우스 위에서 직접 실행: 데이터를 BI 도구로 복사하지 않고 Delta Lake에서 직접 조회합니다.
• LLM이 SQL 중간자 역할: 자연어 질문을 LLM이 SQL로 변환하여 실행합니다.
• Unity Catalog 거버넌스 통합: 테이블 권한, COMMENT, 메타데이터가 AI 정확도와 직결됩니다.
• Lakeview Dashboard + Genie의 조합: 정형화된 리포트(대시보드)와 탐색적 대화(Genie)를 하나의 플랫폼에서 제공합니다.

​

핵심 구성 요소

​

Lakeview Dashboard — 코드 기반 대시보드

• Git 버전 관리 가능: 대시보드 변경 이력을 코드처럼 추적할 수 있습니다.
• 프로그래밍 방식 배포: Databricks Asset Bundle (DAB)로 CI/CD 파이프라인에 통합됩니다.
• API 기반 생성: REST API로 대시보드를 동적으로 생성·수정할 수 있습니다.

​

Genie — 자연어 질의 엔진

1. 테이블/컬럼 COMMENT: Unity Catalog에 등록된 메타데이터를 컨텍스트로 활용합니다.
2. Trusted Answers (인증된 답변): 관리자가 사전 검증한 질문-SQL 쌍을 우선 매칭합니다.
3. Instructions (지침): Space 수준의 비즈니스 규칙과 용어 정의를 LLM에 주입합니다.

​

Metric View — 통일된 메트릭 정의

-- Metric View 생성 예시
CREATE METRIC VIEW sales.gold.revenue_metrics
  COMMENT '영업팀 핵심 KPI 정의'
AS
  SELECT
    sale_date,
    region,
    SUM(amount) AS total_revenue,
    COUNT(DISTINCT customer_id) AS active_customers,
    SUM(amount) / COUNT(DISTINCT customer_id) AS revenue_per_customer
  FROM sales.gold.daily_orders
  GROUP BY sale_date, region;

​

전통 BI vs AI/BI — 상세 비교

💡 Databricks AI/BI는 Tableau, Power BI를 대체 하는 것이 아니라 보완 합니다. 하이브리드 전략에 대한 자세한 내용은 하이브리드 BI 전략 문서를 참고하세요.

​

데이터 흐름

💡 Gold 테이블을 BI 소스로 사용: 대시보드는 Medallion 아키텍처의 Gold 계층 테이블을 소스로 사용합니다. Gold는 이미 집계되어 있으므로 쿼리가 간결하고 빠릅니다.

​

역할별 활용

​

실전 사용 시나리오

​

시나리오 1: 경영진 KPI 대시보드

1. 분석가가 Lakeview Dashboard로 정기 KPI 대시보드를 만들어 공유합니다.
2. 회의 중 즉석 질문은 CMO가 직접 Genie에 자연어로 입력합니다.
3. Genie가 SQL을 생성·실행하여 30초 내 결과를 반환합니다.

​

시나리오 2: 현업 셀프서비스 분석

1. 데이터 팀이 영업 분석 Genie Space를 만들고 관련 Gold 테이블 3~5개를 연결합니다.
2. Instructions에 지역 코드, 고객 등급 정의 등 비즈니스 용어를 상세히 작성합니다.
3. 매니저는 “지난 주 서울 지역 신규 고객 수와 평균 계약 금액을 보여줘”라고 입력합니다.

​

시나리오 3: 데이터팀 파이프라인 모니터링

1. Lakeview Dashboard에 파이프라인 성공률, 처리 건수, 지연 시간 위젯을 구성합니다.
2. Alerts로 처리 건수가 전일 대비 30% 이하이면 Slack 채널에 즉시 알림을 보냅니다.
3. 이상 감지 후 Genie에 “오늘 오전 2시 배치에서 실패한 레코드의 공통점은?”을 질문합니다.

​

도입 시 고려사항

​

데이터 품질 요구사항

-- 메타데이터 보강 예시
ALTER TABLE sales.gold.daily_orders
  SET TBLPROPERTIES ('comment' = '일별 주문 집계 테이블. 취소 건 제외, 배송 완료 기준으로 집계');

ALTER TABLE sales.gold.daily_orders
  ALTER COLUMN region COMMENT 'KR=한국, JP=일본, US=미국, SG=싱가포르';

ALTER TABLE sales.gold.daily_orders
  ALTER COLUMN total_revenue COMMENT '배송비 포함, 할인 적용 후 최종 결제 금액 (KRW 기준)';

​

SQL Warehouse 비용 관리

• Serverless SQL Warehouse: 사용한 쿼리 시간만 청구, Auto Stop 10분 권장
• 대시보드 새로고침 주기: 실시간이 필요 없다면 1시간 이상 캐시 활용
• Genie Space 접근 제어: 전체 공개 대신 필요한 팀에게만 권한 부여
• 쿼리 최적화: Gold 테이블에 Liquid Clustering 적용, 대형 JOIN 제거

​

기존 BI 도구와의 공존 (하이브리드 전략)

​

장단점과 한계

​

현재 할 수 있는 것

​

현재 할 수 없는 것 (한계)

​

경쟁사 BI 대비 포지셔닝