이 문서는 GenAI 개념 섹션의 일부입니다.각 레벨의 구체적 기업 사례, 핵심 교훈, 그리고 레벨별 Databricks 기능 매핑을 다룹니다.
Level 1: Exploring — “AI가 뭔지 알아보는 단계”
실제 모습: 데이터팀 리더가 ChatGPT를 써보고 “우리도 이런 거 만들어볼까?”라고 제안. AI Playground에서 여러 모델을 테스트하며 가능성을 탐색.성공 이 레벨에서 가장 중요한 한 가지: “첫 PoC의 사용 사례 선정이 모든 것을 결정한다”잘못된 사용 사례를 선택하면 조직 전체가 “AI는 안 된다”고 결론짓습니다. 실제 사례를 비교해보겠습니다. 실패 사례: A사는 비정형 제조 데이터(진동 센서, 이미지)를 분석하는 이상 탐지를 첫 PoC로 선정. 데이터 정제에 3개월, 모델 개발에 2개월, 정확도 부족으로 추가 1개월… 총 6개월 후 “아직 부족하다”는 결론. 경영진은 AI 예산을 삭감. 성공 사례: B사는 사내 FAQ 챗봇(Knowledge Agent)을 첫 PoC로 선정. 기존 사내 위키/규정 문서를 Vector Search에 인덱싱하고, Agent Bricks로 2주 만에 파일럿 배포. 직원들이 “이거 진짜 편하다”고 반응. 경영진이 AI 전담팀 구성을 승인. 차이점: 첫 PoC는 “AI의 가능성을 보여주는 것”이 목적입니다. 기술적 난이도가 아니라 가시적 효과 를 기준으로 선정하세요.
Level 1 Databricks 기능 매핑
Level 2: Building — “첫 번째 AI 앱을 만드는 단계”
실제 모습: 데이터팀이 사내 문서 기반 Q&A 챗봇(RAG)을 개발. Vector Search를 구축하고, Agent Framework로 프로토타입 완성. 일부 팀에서 파일럿 사용 중.성공 이 레벨에서 가장 중요한 한 가지: “평가 체계가 없으면 배포하지 마라”“데모에서는 잘 되는데 실제에서 안 된다” — Level 2 조직이 가장 자주 겪는 상황입니다. AI Playground에서 테스트할 때는 완벽하게 답변하던 챗봇이, 실제 사용자의 다양한 질문 앞에서는 환각(hallucination)을 일으킵니다. 실전 규칙: 배포 전 최소 30개의 테스트 케이스로 Offline 평가를 수행하세요. MLflow Evaluate를 활용하면 자동으로 정확도, 관련성, 안전성을 측정할 수 있습니다. “잘 되는 것 같다”는 주관적 판단이 아니라, 숫자로 증명 된 품질만 배포하세요.
Level 2 Databricks 기능 매핑
Level 3: Scaling — “프로덕션에서 AI를 운영하는 단계”
실제 모습: AI 챗봇이 전사 고객 지원에 활용됨. MLflow로 모델 버전 관리, Inference Table로 성능 모니터링. 월간 평가 리포트를 경영진에 보고.성공 이 레벨에서 가장 중요한 한 가지: “모니터링 없는 프로덕션은 시한폭탄”실제 사례입니다. C사는 고객 지원 AI 챗봇을 프로덕션에 배포한 후, 모니터링 대시보드를 “나중에 만들겠다”고 미뤘습니다. 배포 후 3개월, 신규 제품 라인이 추가되면서 학습 데이터에 없는 질문이 급증. 챗봇의 정확도가 85%에서 60%로 하락했지만, 아무도 이를 감지하지 못했습니다. 6개월 후 고객 불만이 폭주하면서 문제가 드러났고, 서비스를 긴급 중단해야 했습니다. 교훈: Inference Table로 모든 입출력을 기록하고, Lakehouse Monitoring으로 주요 메트릭(응답 품질, 지연시간, 에러율)을 추적하세요. 주간 품질 리포트 를 의무화하고, 품질 임계치 이하로 떨어지면 자동 알림을 설정하세요. 데이터 드리프트는 반드시 발생합니다 — 문제는 “발생 여부”가 아니라 “얼마나 빨리 감지하느냐”입니다.
Level 3 Databricks 기능 매핑
Level 4: Transforming — “AI가 비즈니스의 핵심인 단계”
실제 모습: 고객 문의 → AI Agent가 자동 분류 → 전문 Agent에 라우팅 → 80%는 자동 처리, 20%만 인간 에스컬레이션. 비기술 부서도 Genie로 데이터 분석을 일상적으로 수행.성공 이 레벨에서 가장 중요한 한 가지: “기술이 아니라 조직 문화가 병목”D사는 기술적으로 완벽한 AI CoE를 구축했습니다. 최고의 ML 엔지니어, 최신 인프라, 풍부한 예산. 그런데 1년이 지나도 AI 활용률이 올라가지 않았습니다. 문제는 현업 부서가 참여하지 않는 것이었습니다. AI CoE가 만든 도구를 “그들의 것”이 아닌 “IT팀의 것”으로 인식했기 때문입니다. 해결한 방법: “AI 챔피언” 프로그램을 도입. 각 사업부에서 1~2명을 선발하여, AI CoE와 자기 부서를 연결하는 역할을 부여. 이들에게 월 1회 핸즈온 교육 + 자기 부서의 AI 사용 사례를 직접 기획하게 함. 6개월 후 AI 활용률이 3배 증가. 핵심: Level 4는 기술 문제가 아닙니다. “AI를 우리 것으로 받아들이는 문화”를 만드는 것이 가장 어렵고, 가장 중요합니다.
Level 4 Databricks 기능 매핑
README로 돌아가기 | 다음: 레벨 전환 & ROI