AI 함수 — SQL에서 직접 LLM 호출하기

ai_query(
    endpoint,           -- Model Serving 엔드포인트 이름
    request,            -- 프롬프트 (문자열 또는 STRUCT)
    returnType,         -- 반환 타입 (기본: STRING)
    failOnError,        -- 에러 시 실패 여부 (기본: true)
    modelParameters     -- 모델 파라미터 (temperature, max_tokens 등)
)

-- 1. 기본 사용: 텍스트 요약
SELECT
    article_id,
    ai_query(
        'databricks-meta-llama-3-3-70b-instruct',
        CONCAT('다음 기사를 한국어 3줄로 요약해 주세요:\n\n', article_text)
    ) AS summary
FROM news_articles;

-- 2. 구조화된 응답 반환 (JSON → STRUCT)
SELECT
    review_id,
    ai_query(
        'databricks-meta-llama-3-3-70b-instruct',
        CONCAT('다음 리뷰를 분석하여 JSON으로 반환해 주세요: ', review_text),
        returnType => 'STRUCT<sentiment STRING, topics ARRAY<STRING>, score INT>'
    ) AS analysis
FROM customer_reviews;

-- 3. 모델 파라미터 지정
SELECT ai_query(
    'databricks-meta-llama-3-3-70b-instruct',
    '데이터 레이크하우스의 장점을 5가지 나열해 주세요.',
    modelParameters => named_struct(
        'temperature', 0.1,           -- 낮을수록 결정적 (0.0~2.0)
        'max_tokens', 500,            -- 최대 응답 토큰 수
        'top_p', 0.9                  -- 확률 기반 토큰 선택 범위
    )
) AS response;

-- 4. 시스템 프롬프트 + 사용자 프롬프트 (Chat 형식)
SELECT ai_query(
    'databricks-meta-llama-3-3-70b-instruct',
    named_struct(
        'messages', ARRAY(
            named_struct('role', 'system', 'content', '당신은 전문 데이터 분석가입니다. 한국어로 답변해 주세요.'),
            named_struct('role', 'user', 'content', CONCAT('다음 데이터를 분석해 주세요: ', data_text))
        )
    )
) AS analysis
FROM reports;

-- 5. 배치 처리 시 에러 무시 (일부 실패해도 전체 쿼리 계속)
SELECT
    doc_id,
    ai_query(
        'databricks-meta-llama-3-3-70b-instruct',
        CONCAT('요약: ', content),
        failOnError => false
    ) AS summary
FROM documents;

ai_classify(content, labels)
-- content: 분류할 텍스트 (STRING)
-- labels:  카테고리 목록 (ARRAY<STRING>)

-- 고객 문의 유형 분류
SELECT
    ticket_id,
    subject,
    ai_classify(
        subject || ': ' || body,
        ARRAY('배송문의', '반품/환불', '상품문의', '결제문제', '기타')
    ) AS category
FROM support_tickets;

-- 감정 분석 (긍정/부정/중립)
SELECT
    review_id,
    review_text,
    ai_classify(review_text, ARRAY('긍정', '부정', '중립')) AS sentiment
FROM customer_reviews;

-- 언어 감지
SELECT
    doc_id,
    ai_classify(content, ARRAY('한국어', '영어', '일본어', '중국어')) AS language
FROM documents;

-- 긴급도 분류
SELECT
    alert_id,
    message,
    ai_classify(message, ARRAY('긴급', '높음', '보통', '낮음')) AS priority
FROM system_alerts;

ai_extract(content, labels)
-- content: 원본 텍스트 (STRING)
-- labels:  추출할 정보 항목 목록 (ARRAY<STRING>)
-- 반환:    STRUCT (각 항목이 필드로 포함)

-- 이메일에서 핵심 정보 추출
SELECT
    email_id,
    ai_extract(
        email_body,
        ARRAY('발신자이름', '회사명', '요청사항', '긴급여부', '연락처')
    ) AS extracted
FROM inbox_emails;

-- 추출된 STRUCT에서 개별 필드 접근
SELECT
    email_id,
    extracted.발신자이름,
    extracted.회사명,
    extracted.요청사항
FROM (
    SELECT
        email_id,
        ai_extract(email_body, ARRAY('발신자이름', '회사명', '요청사항')) AS extracted
    FROM inbox_emails
);

-- 계약서에서 핵심 조건 추출
SELECT
    contract_id,
    ai_extract(
        contract_text,
        ARRAY('계약금액', '계약기간', '갱신조건', '해지조건', '위약금')
    ) AS terms
FROM contracts;

-- 뉴스에서 구조화된 정보 추출
SELECT
    ai_extract(
        article_text,
        ARRAY('기업명', '인물', '금액', '날짜', '장소', '사건유형')
    ) AS entities
FROM news_articles;

-- 상품 설명 자동 생성
SELECT
    product_id,
    product_name,
    ai_gen(
        CONCAT('다음 상품의 매력적인 한국어 마케팅 문구를 100자 이내로 작성해 주세요. ',
               '상품명: ', product_name,
               ', 카테고리: ', category,
               ', 주요 특징: ', features)
    ) AS marketing_copy
FROM products;

-- 데이터 기반 인사이트 생성
SELECT
    region,
    total_revenue,
    yoy_growth,
    ai_gen(
        CONCAT('다음 지역 매출 데이터에 대한 분석 코멘트를 한국어 2문장으로 작성해 주세요. ',
               '지역: ', region,
               ', 매출: ', FORMAT_NUMBER(total_revenue, 0), '원',
               ', 전년대비 성장률: ', ROUND(yoy_growth * 100, 1), '%')
    ) AS analyst_comment
FROM regional_sales_summary;

-- 번역
SELECT
    doc_id,
    ai_gen(CONCAT('Translate the following text to Korean:\n\n', english_text)) AS korean_text
FROM english_documents;

ai_parse_document(
    path,               -- Volume 내 파일 경로 (STRING)
    mode                -- 'text' 또는 'markdown' (추출 형식)
)

-- PDF에서 텍스트 추출
SELECT ai_parse_document(
    '/Volumes/catalog/schema/contracts/agreement_2025.pdf',
    'text'
) AS parsed_text;

-- Markdown 형식으로 추출 (제목, 표 등 구조 유지)
SELECT ai_parse_document(
    '/Volumes/catalog/schema/reports/quarterly_report.pdf',
    'markdown'
) AS parsed_markdown;

-- Volume의 여러 파일을 일괄 파싱
SELECT
    file_name,
    ai_parse_document(
        CONCAT('/Volumes/catalog/schema/documents/', file_name),
        'markdown'
    ) AS content
FROM (
    SELECT file_name FROM LIST('/Volumes/catalog/schema/documents/')
    WHERE file_name LIKE '%.pdf'
);

-- 파싱 후 AI 분석 연결 (파싱 → 요약 파이프라인)
WITH parsed AS (
    SELECT
        file_name,
        ai_parse_document(
            CONCAT('/Volumes/catalog/schema/docs/', file_name), 'text'
        ) AS content
    FROM document_list
)
SELECT
    file_name,
    ai_query(
        'databricks-meta-llama-3-3-70b-instruct',
        CONCAT('다음 문서를 5줄로 요약해 주세요:\n\n', content)
    ) AS summary,
    ai_classify(content, ARRAY('계약서', '보고서', '제안서', '매뉴얼')) AS doc_type,
    ai_extract(content, ARRAY('작성자', '작성일', '주요키워드')) AS metadata
FROM parsed;

-- 중복 고객 문의 감지
SELECT
    a.ticket_id AS ticket_a,
    b.ticket_id AS ticket_b,
    ai_similarity(a.description, b.description) AS similarity_score
FROM support_tickets a
CROSS JOIN support_tickets b
WHERE a.ticket_id < b.ticket_id
  AND ai_similarity(a.description, b.description) > 0.85;

-- 매출 예측 (향후 30일)
SELECT * FROM ai_forecast(
    TABLE(SELECT sale_date, total_revenue FROM gold_daily_revenue),
    horizon => 30,
    time_col => 'sale_date',
    value_col => 'total_revenue'
);

-- 이상 감지
SELECT * FROM ai_anomaly_detection(
    TABLE(SELECT timestamp, metric_value FROM server_metrics),
    time_col => 'timestamp',
    value_col => 'metric_value'
);

비용 = 입력 토큰 수 × 입력 토큰 단가 + 출력 토큰 수 × 출력 토큰 단가

-- Silver 테이블에 AI 분석 결과를 추가한 Gold 테이블
CREATE OR REFRESH MATERIALIZED VIEW gold_enriched_tickets AS
SELECT
    ticket_id,
    created_at,
    subject,
    body,
    -- AI 함수로 자동 분류
    ai_classify(
        subject || ': ' || body,
        ARRAY('배송', '반품/환불', '상품불량', '결제', '회원', '기타')
    ) AS auto_category,
    ai_classify(
        body,
        ARRAY('긴급', '높음', '보통', '낮음')
    ) AS auto_priority,
    ai_extract(
        body,
        ARRAY('주문번호', '상품명', '요청사항')
    ) AS extracted_info,
    ai_query(
        'databricks-meta-llama-3-3-70b-instruct',
        CONCAT('고객 문의에 대한 초안 답변을 한국어로 작성해 주세요. 정중하고 전문적인 톤으로 작성하되, 100자 이내로 요약해 주세요.\n\n문의 내용: ', body),
        modelParameters => named_struct('temperature', 0.3, 'max_tokens', 200)
    ) AS draft_response
FROM silver_support_tickets
WHERE created_at >= CURRENT_DATE() - INTERVAL 1 DAY;

-- PDF 계약서를 구조화된 테이블로 변환
CREATE OR REFRESH MATERIALIZED VIEW gold_contract_summary AS
WITH parsed_contracts AS (
    SELECT
        file_name,
        ai_parse_document(
            CONCAT('/Volumes/legal/contracts/originals/', file_name), 'text'
        ) AS full_text
    FROM contract_file_list
)
SELECT
    file_name,
    ai_extract(
        full_text,
        ARRAY('계약 당사자', '계약 금액', '계약 시작일', '계약 종료일', '자동갱신 여부', '해지 통보 기한')
    ) AS contract_terms,
    ai_classify(
        full_text,
        ARRAY('소프트웨어 라이선스', 'SaaS 구독', '컨설팅', '유지보수', '기타')
    ) AS contract_type,
    ai_query(
        'databricks-meta-llama-3-3-70b-instruct',
        CONCAT('다음 계약서의 주요 리스크 요인을 3가지 이내로 한국어로 요약해 주세요:\n\n', full_text),
        modelParameters => named_struct('temperature', 0.1)
    ) AS risk_summary
FROM parsed_contracts;