> ## Documentation Index > Fetch the complete documentation index at: https://docs.sifi.life/llms.txt > Use this file to discover all available pages before exploring further. # AI 규제 & 컴플라이언스 > 이 문서는 **[GenAI 개념](/blog/guides/genai-concepts/overview)** 섹션의 일부입니다. AI Agent를 프로덕션에 배포하는 기업이 반드시 알아야 할 글로벌 및 국내 AI 규제 프레임워크와, Databricks 환경에서의 규제 준수 방법을 다룹니다. > **참고** > **학습 목표** * 주요 AI 규제( **EU AI Act**, **한국 AI 기본법**)의 핵심 내용을 이해한다 * 기업이 AI Agent를 배포할 때 준수해야 할 규제 요건을 파악한다 * Databricks 환경에서 규제 준수를 위한 기능을 활용할 수 있다 *** ## 1. 왜 AI 규제를 알아야 하는가? AI Agent가 단순한 PoC를 넘어 **프로덕션 서비스** 로 배포되는 순간, 법적 책임과 규제 준수 의무가 동시에 발생합니다. > **주의** > **실제 시나리오**: "우리 Agent가 잘못된 의료 조언을 했습니다" → 누가 책임지는가? 개발자? 배포한 기업? 모델 제공사? 규제를 모르고 배포하면 **과징금 + 서비스 중단** 리스크에 직면합니다. ### AI 규제가 중요한 3가지 이유 | # | 이유 | 설명 | | - | ------------- | -------------------------------------------------------- | | 1 | **법적 책임** | AI 시스템의 출력으로 인한 피해는 운영 기업에 귀속됩니다. "몰랐다"는 면책 사유가 되지 않습니다. | | 2 | **사업 연속성** | 규제 위반 시 서비스 강제 중단, 과징금, 평판 손상이 발생합니다. | | 3 | **글로벌 시장 접근** | EU AI Act는 역외 적용됩니다. 한국 기업이 EU 고객에게 서비스하면 적용 대상입니다. | ### 규제 미준수 시 발생할 수 있는 문제 * **과징금**: EU AI Act 기준 최대 매출의 7% 또는 3,500만 유로 * **서비스 중단**: 규제 당국의 시정 명령으로 AI 서비스 강제 중지 * **소송 리스크**: AI 판단으로 인한 피해자의 민사 소송 * **평판 손상**: 언론 보도, SNS 확산으로 인한 브랜드 가치 하락 *** ## 2. EU AI Act (2024년 발효, 2025\~2026 단계적 시행) **EU AI Act** 는 세계 최초의 포괄적 AI 규제법으로, AI 시스템을 **리스크 수준** 에 따라 4단계로 분류하고 각 단계별로 다른 수준의 규제를 부과합니다. ### 리스크 기반 4단계 분류 | 리스크 등급 | 설명 | 예시 | 규제 수준 | | -------------------- | ----------- | -------------------------------- | ---------------------- | | **금지**(Unacceptable) | 사회적으로 허용 불가 | 사회적 점수 시스템, 실시간 원격 생체인식, 무의식적 조작 | 완전 금지 | | **고위험**(High-risk) | 안전/기본권에 영향 | 의료 진단, 채용 스크리닝, 신용 평가, 법 집행 | 준수 의무 (투명성, 로깅, 인간 감독) | | **제한적**(Limited) | 투명성 필요 | 챗봇, 딥페이크 생성, 감정 인식 | 고지 의무 ("이것은 AI입니다") | | **최소**(Minimal) | 자유 사용 | 스팸 필터, 게임 AI, 추천 알고리즘 | 규제 없음 | ### 고위험 AI 시스템의 의무 사항 고위험으로 분류된 AI 시스템은 다음 요건을 **모두** 충족해야 합니다: 1. **리스크 관리 시스템**: 전체 수명주기에 걸친 리스크 식별 및 완화 체계 구축 2. **데이터 거버넌스**: 학습 데이터의 품질, 대표성, 편향 관리 3. **기술 문서화**: 시스템 설계, 학습 방법, 성능 지표 문서화 4. **기록 보관**: 자동 로깅으로 추적 가능성(traceability) 보장 5. **투명성**: 사용자에게 시스템 능력과 한계를 명확히 고지 6. **인간 감독**: 인간이 AI 시스템을 감시하고 개입할 수 있는 메커니즘 7. **정확성, 견고성, 보안**: 적절한 수준의 정확성 및 사이버보안 보장 ### GenAI 특별 조항 (범용 AI 모델) **범용 AI 모델**(General-Purpose AI Model) 제공자에게는 추가 의무가 부과됩니다: * **학습 데이터 투명성**: 학습에 사용된 데이터의 요약 정보 공개 * **저작권 준수**: EU 저작권법 준수, 특히 텍스트/데이터 마이닝 관련 * **기술 문서**: 모델 능력, 한계, 평가 결과 공개 * **시스템 리스크**: 시스템적 리스크가 있는 대규모 모델은 추가 평가 의무 > **주의** > **위반 시 과징금**: 금지 행위 위반 시 매출의 최대 **7%** 또는 **3,500만 유로** 중 높은 금액. 고위험 의무 위반 시 매출의 최대 **3%** 또는 **1,500만 유로**. *** ## 3. 한국 AI 기본법 (2025년 시행) 한국의 **AI 기본법**(인공지능산업 육성 및 신뢰 확보에 관한 법률)은 AI 산업 진흥과 위험 관리의 **균형** 을 추구합니다. ### 핵심 내용 | 영역 | 주요 내용 | | ------------ | ---------------------------------------------- | | **고위험 AI** | 생명, 신체, 안전에 중대한 영향을 미치는 AI 시스템은 사전 **영향평가** 의무 | | **AI 윤리 원칙** | 인간 중심, 투명성, 공정성, 안전성을 4대 원칙으로 명시 | | **기업 의무** | AI 사용 고지, 편향 관리, 이용자 권리 보장 | | **산업 진흥** | AI 연구개발 지원, 인력 양성, 데이터 활용 촉진 | ### 고위험 AI의 기준 한국 AI 기본법에서 **고위험 AI** 로 분류되는 경우: * 사람의 **생명 또는 신체의 안전** 에 영향을 미치는 경우 * 개인의 **기본권 행사** 에 중대한 영향을 미치는 경우 (채용, 교육, 금융 등) * **공공 서비스** 접근에 영향을 미치는 경우 ### 사전 영향평가 포함 항목 고위험 AI를 운영하는 기업은 다음을 포함한 영향평가를 수행해야 합니다: 1. AI 시스템의 목적과 기능 설명 2. 예상되는 위험 및 부정적 영향 분석 3. 위험 완화 조치 계획 4. 이용자 고지 및 이의제기 절차 5. 인간 감독 메커니즘 *** ## 4. 엔터프라이즈 AI Agent 배포 시 규제 체크리스트 AI Agent를 프로덕션에 배포하기 전에 아래 체크리스트를 반드시 확인하세요. | 항목 | 확인 사항 | Databricks 기능 | | ---------- | -------------------- | -------------------------------------- | | **투명성** | AI가 생성한 결과임을 고지했는가 | System Prompt에 AI 고지 문구 포함 | | **로깅** | 모든 AI 판단 근거가 기록되는가 | **Inference Tables**, **MLflow Trace** | | **인간 감독** | 고위험 결정에 사람 검토가 있는가 | **Review App**, Human-in-the-Loop 워크플로 | | **편향 관리** | 특정 그룹에 불공정하지 않은가 | **MLflow Evaluate**(Bias 메트릭) | | **데이터 보호** | 개인정보를 적절히 처리하는가 | **Unity Catalog ACL**, PII 마스킹 | | **설명 가능성** | AI의 판단 이유를 설명할 수 있는가 | **MLflow Tracing**(추론 과정 기록) | ### 배포 전 확인 프로세스 > **참고** > 아래 순서로 검토를 진행하면 주요 규제 요건을 빠짐없이 확인할 수 있습니다. **Step 1. 리스크 등급 판단** * 우리 AI Agent가 어떤 리스크 등급에 해당하는지 분류 * 고위험이면 추가 의무 사항 전체 확인 필요 **Step 2. 기술적 요건 구현** * 로깅, 모니터링, 설명 가능성 등 기술적 체계 구축 * Inference Tables로 모든 요청/응답 자동 기록 설정 **Step 3. 거버넌스 체계 수립** * 데이터 접근 제어, 감사 로그, 모델 리니지 관리 * Unity Catalog를 통한 중앙화된 거버넌스 **Step 4. 운영 프로세스 정립** * 정기적 편향 점검, 모델 성능 모니터링 * 이상 감지 시 에스컬레이션 절차 수립 *** ## 5. 업종별 추가 규제 범용 AI 규제 외에도 각 업종별로 추가적인 규제 요건이 존재합니다. AI Agent를 특정 도메인에 배포할 때 반드시 확인해야 합니다. ### 금융 | 규제 | 내용 | | --------------------- | --------------------------------------- | | **금융위원회 AI 활용 가이드라인** | 금융 AI 모델의 설명 가능성, 공정성, 투명성 요구 | | **모델 검증 의무** | 리스크 관리 목적의 AI 모델은 독립적 검증(validation) 필수 | | **금융소비자 보호법** | AI 기반 금융 상품 추천 시 적합성/적정성 원칙 준수 | ### 의료 | 규제 | 내용 | | ----------- | ----------------------------------- | | **의료기기법** | AI 소프트웨어가 진단/치료에 사용되면 **의료기기** 로 분류 | | **식약처 인허가** | 의료용 AI는 식약처의 허가/인증/신고 절차 필요 | | **임상 검증** | 의료 AI의 안전성/유효성에 대한 임상적 근거 필요 | ### 공공 | 규제 | 내용 | | --------------- | ---------------------------- | | **공공 AI 윤리 원칙** | 정부/공공기관의 AI 도입 시 윤리 원칙 준수 | | **알고리즘 영향평가** | 국민 권리에 영향을 미치는 알고리즘의 사전 영향평가 | | **개인정보 보호법** | 공공 데이터 활용 시 개인정보 비식별화 의무 강화 | *** ## 6. Databricks의 규제 준수 지원 Databricks 플랫폼은 AI 규제 준수에 필요한 핵심 기능을 내장하고 있습니다. ### Unity Catalog — 거버넌스의 중심 * **데이터 리니지**: 데이터가 어디서 왔고, 어떻게 변환되었고, 누가 사용했는지 전체 추적 * **접근 제어**: 테이블, 모델, 함수 단위의 세분화된 권한 관리 * **감사 로그**: 모든 데이터 접근 및 변경 이력 자동 기록 * **태그 관리**: PII, 민감 데이터 등에 태그를 부착하여 정책 기반 관리 ### MLflow Tracing — AI 판단 과정 추적 * Agent가 어떤 **도구(Tool)** 를 호출했는지 기록 * 각 단계의 **입력/출력** 을 전체 보존 * 판단 **근거**(RAG 검색 결과, 참조 문서 등)를 추적 가능 * 규제 당국에 "왜 이런 결과가 나왔는지" **설명 가능** ### AI Guardrails — 입출력 보호 * **입력 필터링**: 악의적 프롬프트, 탈옥 시도 차단 * **출력 필터링**: 유해 콘텐츠, PII 노출 방지 * **토픽 제한**: Agent의 응답 범위를 사전 정의된 도메인으로 제한 * **Safety Filter**: Llama Guard 등을 활용한 안전성 필터 ### Inference Tables — 요청/응답 전수 기록 * 모든 서빙 엔드포인트의 **요청(Request)** 과 **응답(Response)** 자동 기록 * Delta Table 형태로 저장되어 **SQL 분석** 가능 * 비정상 패턴 감지, 품질 모니터링, 규제 감사에 활용 * 보존 기간을 설정하여 **법적 보관 의무** 충족 *** ## 7. 고객 FAQ > **참고** > AI 규제와 관련하여 고객사에서 가장 자주 받는 질문과 답변입니다. ### Q1. "우리 챗봇도 규제 대상인가요?" 대부분의 기업용 챗봇은 EU AI Act 기준 **제한적 리스크**(Limited Risk)에 해당합니다. 이 경우 핵심 의무는 **AI 고지** 입니다. 사용자에게 "이것은 AI가 생성한 응답입니다"라는 사실을 명확히 알려야 합니다. 다만, 챗봇이 의료 조언, 채용 판단, 신용 평가 등에 활용된다면 **고위험** 으로 분류될 수 있으므로 용도에 따른 재분류가 필요합니다. ### Q2. "의료 AI는 어떤 인허가가 필요한가요?" 의료 목적의 AI 소프트웨어는 **의료기기법** 에 따라 식약처 인허가가 필요합니다. AI가 질병 진단, 치료 방침 결정, 의료 영상 분석 등에 사용되면 **의료기기** 로 분류됩니다. 등급에 따라 허가(3등급), 인증(2등급), 신고(1등급) 절차가 다르며, 임상 시험 데이터가 요구될 수 있습니다. ### Q3. "EU 고객에게 서비스하면 EU AI Act가 적용되나요?" **예, 적용됩니다.** EU AI Act는 **역외 적용** 원칙을 채택하고 있어, EU 내 사용자에게 AI 서비스를 제공하는 기업은 소재지와 관계없이 적용 대상입니다. 한국 기업이 EU 소재 고객에게 AI 기반 서비스를 제공한다면 EU AI Act를 준수해야 합니다. ### Q4. "AI 규제 준수를 위해 처음 해야 할 일은 무엇인가요?" 가장 먼저 **현재 운영 중인 AI 시스템의 리스크 등급을 분류** 하는 것입니다. 리스크 등급에 따라 필요한 준수 사항이 크게 달라지기 때문입니다. 이후 로깅, 모니터링, 인간 감독 체계를 순차적으로 구축하면 됩니다. Databricks 환경이라면 **Inference Tables** 와 **MLflow Tracing** 을 먼저 활성화하는 것을 권장합니다. *** ## 8. 참고 자료 * [EU AI Act 전문 (EUR-Lex)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689) * [EU AI Act 요약 가이드 (European Commission)](https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai) * [한국 AI 기본법 전문 (국가법령정보센터)](https://www.law.go.kr/) * [Databricks Unity Catalog 문서](https://docs.databricks.com/en/data-governance/unity-catalog/index.html) * [MLflow Tracing 문서](https://mlflow.org/docs/latest/llms/tracing/index.html) * [Databricks AI Guardrails](https://docs.databricks.com/en/generative-ai/agent-framework/ai-guardrails.html) *** [← 거버넌스 & 변화 관리](governance) | [AI Proficiency 개요](overview)