Level 1: Exploring — “AI가 뭔지 알아보는 단계”
실제 모습: 데이터팀 리더가 ChatGPT를 써보고 “우리도 이런 거 만들어볼까?”라고 제안. AI Playground에서 여러 모델을 테스트하며 가능성을 탐색.| 조직 특징 | 설명 |
|---|---|
| AI 담당자 | 지정된 AI 담당자 없음, 관심 있는 개인이 실험 |
| 데이터 상태 | 데이터가 여러 시스템에 산재, 통합되지 않음 |
| 사용 방식 | 개인적 ChatGPT/Copilot 사용, 조직 차원 활용 없음 |
| 대표 활동 | PoC 1~2개 진행, 경영진 데모, 기술 학습 |
성공 이 레벨에서 가장 중요한 한 가지: “첫 PoC의 사용 사례 선정이 모든 것을 결정한다”잘못된 사용 사례를 선택하면 조직 전체가 “AI는 안 된다”고 결론짓습니다. 실제 사례를 비교해보겠습니다. 실패 사례: A사는 비정형 제조 데이터(진동 센서, 이미지)를 분석하는 이상 탐지를 첫 PoC로 선정. 데이터 정제에 3개월, 모델 개발에 2개월, 정확도 부족으로 추가 1개월… 총 6개월 후 “아직 부족하다”는 결론. 경영진은 AI 예산을 삭감. 성공 사례: B사는 사내 FAQ 챗봇(Knowledge Agent)을 첫 PoC로 선정. 기존 사내 위키/규정 문서를 Vector Search에 인덱싱하고, Agent Bricks로 2주 만에 파일럿 배포. 직원들이 “이거 진짜 편하다”고 반응. 경영진이 AI 전담팀 구성을 승인. 차이점: 첫 PoC는 “AI의 가능성을 보여주는 것”이 목적입니다. 기술적 난이도가 아니라 가시적 효과 를 기준으로 선정하세요.
Level 1 Databricks 기능 매핑
| 활동 | Databricks 기능 | 구체적 사용 |
|---|---|---|
| LLM 실험 | AI Playground | 모델 비교, 프롬프트 테스트, 파라미터 조정 |
| 데이터 탐색 | Unity Catalog | 사내 데이터 자산 검색, 메타데이터 확인 |
| 빠른 프로토타입 | Notebooks + Foundation Model APIs | Python으로 LLM 호출, 간단한 챗봇 프로토타입 |
| 팀 학습 | Databricks Academy | GenAI 기초 과정, 핸즈온 랩 |
Level 2: Building — “첫 번째 AI 앱을 만드는 단계”
실제 모습: 데이터팀이 사내 문서 기반 Q&A 챗봇(RAG)을 개발. Vector Search를 구축하고, Agent Framework로 프로토타입 완성. 일부 팀에서 파일럿 사용 중.| 조직 특징 | 설명 |
|---|---|
| AI 담당자 | 2~3명의 ML/AI 엔지니어가 전담 |
| 데이터 상태 | Unity Catalog로 데이터 통합 시작 |
| 사용 방식 | 팀 내부용 AI 앱 1~3개 운영 |
| 대표 활동 | RAG 챗봇, 문서 요약, 코드 리뷰 자동화 |
성공 이 레벨에서 가장 중요한 한 가지: “평가 체계가 없으면 배포하지 마라”“데모에서는 잘 되는데 실제에서 안 된다” — Level 2 조직이 가장 자주 겪는 상황입니다. AI Playground에서 테스트할 때는 완벽하게 답변하던 챗봇이, 실제 사용자의 다양한 질문 앞에서는 환각(hallucination)을 일으킵니다. 실전 규칙: 배포 전 최소 30개의 테스트 케이스로 Offline 평가를 수행하세요. MLflow Evaluate를 활용하면 자동으로 정확도, 관련성, 안전성을 측정할 수 있습니다. “잘 되는 것 같다”는 주관적 판단이 아니라, 숫자로 증명 된 품질만 배포하세요.
| 평가 없이 배포한 결과 | 평가 후 배포한 결과 |
|---|---|
| 3개월 후 “챗봇이 이상한 답변을 한다” 클레임 | 사전에 약점을 파악하고 Guardrails 적용 |
| 사용자 신뢰 상실 → 서비스 폐기 | 점진적 개선 → 사용률 월 20% 증가 |
| ”AI는 아직 시기상조” 인식 확산 | ”AI가 정말 도움이 된다” 긍정적 경험 |
Level 2 Databricks 기능 매핑
| 활동 | Databricks 기능 | 구체적 사용 |
|---|---|---|
| RAG 개발 | Vector Search + Agent Framework | 문서 임베딩, 검색 인덱스 구축, RAG 체인 구현 |
| Agent 구축 | Mosaic AI Agent Framework | ChatAgent 구현, Tool 등록, MLflow Tracing |
| 모델 커스텀 | Fine-tuning (Mosaic AI Training) | 도메인 특화 모델 학습 |
| 실험 추적 | MLflow Tracking & Tracing | 실험 비교, 최적 하이퍼파라미터 탐색 |
| 프롬프트 관리 | MLflow Prompt Registry | 프롬프트 버전 관리, 팀 공유 |
Level 3: Scaling — “프로덕션에서 AI를 운영하는 단계”
실제 모습: AI 챗봇이 전사 고객 지원에 활용됨. MLflow로 모델 버전 관리, Inference Table로 성능 모니터링. 월간 평가 리포트를 경영진에 보고.| 조직 특징 | 설명 |
|---|---|
| AI 담당자 | AI/MLOps 팀 (5명+) 구성 |
| 데이터 상태 | 통합 거버넌스, 데이터 품질 관리 체계 |
| 사용 방식 | 프로덕션 AI 시스템 3개+ 운영, SLA 관리 |
| 대표 활동 | CI/CD 파이프라인, A/B 테스트, 모니터링 대시보드 |
성공 이 레벨에서 가장 중요한 한 가지: “모니터링 없는 프로덕션은 시한폭탄”실제 사례입니다. C사는 고객 지원 AI 챗봇을 프로덕션에 배포한 후, 모니터링 대시보드를 “나중에 만들겠다”고 미뤘습니다. 배포 후 3개월, 신규 제품 라인이 추가되면서 학습 데이터에 없는 질문이 급증. 챗봇의 정확도가 85%에서 60%로 하락했지만, 아무도 이를 감지하지 못했습니다. 6개월 후 고객 불만이 폭주하면서 문제가 드러났고, 서비스를 긴급 중단해야 했습니다. 교훈: Inference Table로 모든 입출력을 기록하고, Lakehouse Monitoring으로 주요 메트릭(응답 품질, 지연시간, 에러율)을 추적하세요. 주간 품질 리포트 를 의무화하고, 품질 임계치 이하로 떨어지면 자동 알림을 설정하세요. 데이터 드리프트는 반드시 발생합니다 — 문제는 “발생 여부”가 아니라 “얼마나 빨리 감지하느냐”입니다.
Level 3 Databricks 기능 매핑
| 활동 | Databricks 기능 | 구체적 사용 |
|---|---|---|
| 모델 배포 | Model Serving (Serverless) | 원클릭 배포, 자동 스케일링, A/B 라우팅 |
| 성능 모니터링 | Lakehouse Monitoring + Inference Tables | 지연시간, 토큰 사용량, 오류율 추적 |
| 품질 평가 | MLflow Evaluate + Review App | 자동 평가 + 인간 피드백 수집 |
| 접근 제어 | Unity Catalog 권한 관리 | 테이블/모델/함수별 세밀한 접근 제어 |
| 비용 관리 | Serverless 자동 스케일링 | 사용량 기반 과금, 예산 알림 |
Level 4: Transforming — “AI가 비즈니스의 핵심인 단계”
실제 모습: 고객 문의 → AI Agent가 자동 분류 → 전문 Agent에 라우팅 → 80%는 자동 처리, 20%만 인간 에스컬레이션. 비기술 부서도 Genie로 데이터 분석을 일상적으로 수행.| 조직 특징 | 설명 |
|---|---|
| AI 담당자 | AI CoE(Center of Excellence) + 각 팀별 AI 챔피언 |
| 데이터 상태 | Data Mesh, 셀프서비스 데이터 접근 |
| 사용 방식 | 비즈니스 프로세스에 AI가 깊이 내재 |
| 대표 활동 | Multi-Agent 시스템, AI 의사결정, 전사 AI 거버넌스 |
성공 이 레벨에서 가장 중요한 한 가지: “기술이 아니라 조직 문화가 병목”D사는 기술적으로 완벽한 AI CoE를 구축했습니다. 최고의 ML 엔지니어, 최신 인프라, 풍부한 예산. 그런데 1년이 지나도 AI 활용률이 올라가지 않았습니다. 문제는 현업 부서가 참여하지 않는 것이었습니다. AI CoE가 만든 도구를 “그들의 것”이 아닌 “IT팀의 것”으로 인식했기 때문입니다. 해결한 방법: “AI 챔피언” 프로그램을 도입. 각 사업부에서 1~2명을 선발하여, AI CoE와 자기 부서를 연결하는 역할을 부여. 이들에게 월 1회 핸즈온 교육 + 자기 부서의 AI 사용 사례를 직접 기획하게 함. 6개월 후 AI 활용률이 3배 증가. 핵심: Level 4는 기술 문제가 아닙니다. “AI를 우리 것으로 받아들이는 문화”를 만드는 것이 가장 어렵고, 가장 중요합니다.
Level 4 Databricks 기능 매핑
| 활동 | Databricks 기능 | 구체적 사용 |
|---|---|---|
| 멀티에이전트 시스템 | Supervisor Agent + A2A 연동 | 복합 작업 자동화, 에이전트 오케스트레이션 |
| 업무 자동화 | Databricks Workflows + Agent | 데이터 파이프라인과 AI Agent 통합 실행 |
| 셀프서비스 AI | Genie Space, Databricks Apps | 비기술 부서 자연어 데이터 분석 |
| AI 거버넌스 | Unity Catalog + AI Guardrails | 전사 AI 정책 적용, 입출력 필터링 |
README로 돌아가기 | 다음: 레벨 전환 & ROI