원문: Databricks Announces Lakewatch: New Open, Agentic SIEM (2026-03-24)작성자: Reynold Xin, Andrew Krioukov, Molly Limaye, Taylor Kain, Keegan Dubbs
오늘 우리는 Lakewatch를 발표합니다. Lakewatch는 점점 더 정교해지는 에이전트 공격자(Agent Attacker)로부터 조직을 방어하도록 설계된 새로운 오픈형 에이전틱 SIEM입니다. Lakewatch는 보안, IT, 비즈니스 데이터를 단일의 거버넌스된 환경으로 통합하여 AI 기반 탐지 및 대응을 가능하게 합니다. 오픈 포맷을 통해 Lakewatch는 고객이 전례 없는 규모의 멀티모달 데이터를 수집, 보존, 분석하면서도 비용을 대폭 절감하고 벤더 종속성(Vendor Lock-in)을 제거할 수 있도록 지원합니다. 보안 팀은 기업 전반에 걸친 완전한 가시성을 확보하고, 방어용 보안 에이전트를 배포하여 대규모 위협 탐지와 대응을 자동화할 수 있습니다. Lakewatch는 현재 Private Preview로 출시되며, 초기 고객에는 Adobe, Dropbox와 같은 업계 선도 기업이 포함되어 있습니다. 또한 **“오픈 보안 레이크하우스 에코시스템(Open Security Lakehouse Ecosystem)“**도 함께 출범합니다. 이 에코시스템은 선도적인 보안 벤더 및 딜리버리 파트너들로 구성되어, 고객이 텔레메트리를 오픈 포맷으로 자동 정규화하고 현대적 위협에 통합된 규모의 자동화된 머신 속도 방어로 대응할 수 있도록 지원합니다.
에이전틱 시대의 보안 (Security for the Agentic Era)
보안의 근본이 변하고 있습니다. 사이버 공격은 더 이상 사람이 주도하는 것이 아닙니다. 점점 더 AI가 주도하고 자동화되고 있습니다. LLM은 오픈소스 코드에서 500개 이상의 제로데이 취약점을 발견했고, AI 에이전트는 버그 바운티 플랫폼에서 최상위 해커가 되었으며, 국가 후원 그룹은 AI를 무기화하여 침입을 자동화하고 있습니다. 공격자는 이제 머신 규모로 운영되며 24시간 연중무휴로 익스플로잇을 구성하고 공격을 조율합니다. 이러한 머신 규모의 공격에 직면하여, 최고의 보안 운영 팀조차 구조적 한계에 부딪힙니다. 오늘날의 보안 도구는 분석가가 알림을 수동으로 보강하고, 탐지 규칙을 직접 작성하며, 위협 헌팅 가설을 수일에서 수주에 걸쳐 테스트해야 합니다. 이러한 워크플로우는 인간 속도의 위협에는 효과적일 수 있었습니다. 그러나 24시간 머신 속도로 작동하는 AI 기반 공격에 대해서는 아키텍처 자체가 병목이 됩니다. ZeroDayClock.com에 따르면, 평균 익스플로잇 시간(Mean Time to Exploit)이 2025년 23.2일에서 2026년 단 1.6일로 급감했습니다. 데이터 측면에서도 문제가 심화됩니다. 대기업은 매일 테라바이트, 심지어 페타바이트의 보안 데이터를 생성하지만, 기존 SIEM은 스토리지와 컴퓨팅을 결합하여 수집되는 모든 바이트에 비용 부담을 부과합니다. 팀은 수집을 제한하고, 라우팅 레이어를 통해 데이터를 필터링하고, 과거 데이터를 삭제하고, 채팅 로그나 영상 같은 멀티모달 소스를 완전히 무시하는 것으로 대응합니다. 이로 인해 위험한 비대칭이 발생합니다: 공격자는 AI 에이전트로 모든 것을 분석하고 어디서든 공격하는 반면, 방어자는 자신의 데이터 중 극히 일부만 볼 수 있습니다. 기존 SIEM은 멀티모달 데이터를 처리할 수 없지만, 소셜 엔지니어링 공격, 내부자 위협, 프롬프트 인젝션 시도가 숨어 있는 곳이 바로 그곳입니다. 이것은 단순한 비용이나 규모의 문제가 아닙니다. 우리가 직면한 위협과 이에 맞서기 위한 도구 사이의 근본적인 아키텍처 불일치입니다. 우리는 이 정확한 문제를 이전에도 해결한 적이 있습니다. 데이터 웨어하우스도 동일한 한계를 가지고 있었습니다: 고비용 수집, 사일로화된 데이터, 특정 유스케이스로의 제한. 레이크하우스는 오픈 포맷, 저렴한 스토리지, 모든 데이터 유형 지원으로 그 모델을 뒤집었습니다. 이제 우리는 동일한 변혁을 보안에 가져옵니다. Lakewatch는 레이크하우스의 경제성과 아키텍처를 보안 운영에 적용합니다. 멀티모달 데이터를 포함한 보안 텔레메트리의 100%를 수집하고 보존하며, 모든 비즈니스 데이터와 함께 분석하고, 레거시 비용의 극히 일부로 AI 기반 에이전트를 활용한 탐지 및 대응을 배포할 수 있습니다.Lakewatch가 보안 운영을 어떻게 바꾸는가 (How Lakewatch Changes Security Operations)
1. 모든 데이터에 대한 완전한 가시성 (Complete Visibility Across All Data)
조직은 이미 위협을 조사하는 데 필요한 컨텍스트를 보유하고 있습니다. HR 시스템, 협업 플랫폼, 애플리케이션 로그, 트랜잭션 데이터가 오늘 레이크에 존재하지만, 기존 보안 도구는 비용이 많이 드는 복제 없이는 이에 접근할 수 없습니다. Lakewatch는 이 모델을 뒤집습니다: 보안이 레이크하우스 위에서 직접 실행됩니다. Unity Catalog 위에 구축되어 보안 데이터는 다른 모든 데이터와 함께 위치합니다. 알림이 발생하면 파일을 이동하거나 도구를 전환하지 않고도 즉시 모든 데이터 소스에 걸쳐 상관 분석할 수 있습니다. 현대의 공격은 시스템 간 틈새를 악용하며 소셜 엔지니어링, 내부자 컨텍스트, 레거시 도구가 처리할 수 없는 멀티모달 신호에 의존합니다. 모든 컨텍스트가 한 곳에 있으면 분석가는 수일이 아닌 수분 만에 위협을 탐지하고 억제할 수 있습니다. Lakewatch는 다음을 통해 이를 가능하게 합니다:- 엔터프라이즈 전체 거버넌스: 테이블, 행, 열, 속성 수준의 세분화된 접근 제어와 모든 데이터에 대한 완전한 감사 기능
- 오픈 표준: Open Cybersecurity Schema Framework(OCSF) 기반으로 데이터가 독점 포맷에 종속되지 않음
- 자동화된 수집: Lakeflow Connect가 주요 보안 소스(AWS, Okta, Zscaler 등)의 수집과 정규화를 표준화된 테이블로 처리
- 진정한 데이터 소유권: Delta Lake 또는 Apache Iceberg로 자체 클라우드 스토리지에 데이터를 저장하고, 모든 클라우드에서 쿼리를 실행하며, 벤더 종속을 방지
2. 에이전트에는 에이전트로 맞서기 (Fight Agents with Agents)
기존 SIEM은 데이터의 전체 컨텍스트에 접근할 수 없는 부가적(bolt-on) AI 기능에 의존합니다. Lakewatch는 보안 데이터가 존재하는 곳에 직접 임베디드 AI를 제공합니다. Genie는 새로운 로그 소스를 OCSF로 수집 및 파싱하고, 최신 위협 인텔리전스를 기반으로 새로운 탐지 규칙을 작성하며, 오탐을 줄이기 위해 기존 규칙을 수정하고, 자연어 질문을 SQL 쿼리로 변환하는 등 핵심 워크플로우를 자동화합니다. Genie Spaces는 보안 팀이 전문 쿼리 언어 대신 일반 영어로 페타바이트의 데이터를 조회할 수 있게 하여, 스킬 수준에 관계없이 위협 헌팅을 민주화합니다. 주요 기능:- Genie Code: 수집 자동화, 새로운 탐지 규칙 작성, 오탐 감소를 위한 규칙 수정, 조사를 위한 자연어 질문의 SQL 쿼리 변환을 수행하는 AI 어시스턴트
- Genie Spaces: 자연어 쿼리 인터페이스와 에이전틱 하니스를 통해 모든 사용자가 복잡한 쿼리 언어를 배우지 않고도 복잡한 다단계 위협 헌팅을 수행하고 데이터에 질문 가능
- Detection-as-Code: SQL 쿼리나 Python 노트북으로 YAML 형식의 탐지 규칙을 정의하고, 과거 데이터에 대해 백테스트하며, CI/CD 파이프라인을 통해 배포
- 커스텀 ML 탐지: MLflow, Feature Store, Model Serving을 활용하여 보안 데이터에서 직접 머신러닝 모델을 훈련 및 배포하여 이상 탐지, 행동 분석, 엔터티 리스크 스코어링 등을 지원
- 강력한 대시보드: AI 강화 시각화로 실시간 모니터링을 위한 경영진, 운영, 컴플라이언스 대시보드를 생성
3. 페타바이트 규모의 효율적인 SecOps (Efficient SecOps at Petabyte Scale)
스토리지와 컴퓨팅을 분리함으로써 페타바이트의 풀-피델리티(full-fidelity) 보안 텔레메트리를 자체 클라우드 스토리지에 저장하고 컴퓨팅에 대해서만 비용을 지불할 수 있습니다. 서버리스 컴퓨팅으로 필요할 때만 분석을 실행하세요. 수주가 아닌 수년간의 핫-쿼리 가능한 데이터를 유지하세요. 데이터는 여러분의 것이고, 비용도 여러분이 통제합니다. 이는 다음으로 이어집니다:- 데이터 소유: 오픈 포맷으로 여러분이 통제하는 클라우드 오브젝트 스토리지(S3, ADLS, GCS)에 보안 텔레메트리를 저장
- 장기 보존: 비용 부담 없이 수년간의 데이터로 컴플라이언스 요구사항을 충족하고 위협 헌팅을 지원
- 예측 가능한 비용: 바이트당 라이선스 비용 없이 대규모로 풀-피델리티 로그를 저장
- 온디맨드 탄력적 컴퓨팅: 세분화된 비용 제어로 필요할 때만 강력한 분석 및 ML 워크로드를 프로비저닝
- 서버리스 성능: 관리할 인프라가 없으며 쿼리에 대해서만 비용 지불
Anthropic과의 파트너십 심화 (Deepening Partnership with Anthropic)
두 회사의 기존 전략적 파트너십의 성공을 바탕으로, Databricks와 Anthropic은 에이전틱 보안 운영을 제공하기 위한 협력을 심화하고 있습니다. Anthropic의 Claude 모델이 Lakewatch를 구동하는 데 도움을 주며, Claude의 고급 추론 능력을 활용하여 보안, IT, 비즈니스 데이터 전반의 신호를 상관 분석함으로써 위협을 더 빠르게 식별합니다. 또한 Anthropic은 Databricks를 자체 보안 레이크하우스로 활용하여 보안 및 비즈니스 데이터 전반에 걸친 완전한 가시성을 확보하고 위협을 조기에 탐지합니다.오픈 보안 레이크하우스 에코시스템 (Open Security Lakehouse Ecosystem)
Databricks는 오늘날의 위협에는 고객이 자신의 데이터를 완전히 통제하면서 에코시스템 전반의 오픈 협업이 필요하다고 믿습니다. 이에 **“오픈 보안 레이크하우스 에코시스템”**을 발표합니다. 이는 빠르게 성장하는 최고의 보안 벤더 및 딜리버리 파트너 그룹으로, Akamai, Anvilogic, Arctic Wolf, Cribl, Deloitte, Obsidian, Okta, 1Password, Palo Alto Networks, Panther, Proofpoint, Rearc, Slack, TrendAI, Wiz(현재 Google Cloud의 일부), Zscaler가 포함되어 있습니다.“Zscaler는 오픈 에코시스템에 대한 Databricks의 헌신을 공유합니다. 오픈 보안 레이크하우스 에코시스템에 합류하여 양사의 공동 고객에게 AI 네이티브 공격을 AI 네이티브 솔루션으로 방어하는 데 필요한 데이터와 도구를 제공하게 되어 기쁩니다.” — Eddie Parra, VP Solutions Architect Partner Ecosystem, Zscaler
“사이버 위협이 AI 기반의 머신 규모 공격으로 진화함에 따라, 조직은 이에 맞서기 위한 근본적으로 새로운 아키텍처가 필요할 수 있습니다. Lakewatch는 보안 운영의 한 단계 도약을 의미하며, Databricks 레이크하우스의 힘을 SOC에 가져와 팀이 자신의 데이터를 활용하고, 지능형 에이전트를 배포하며, 진화하는 위협에 앞서 나갈 수 있도록 합니다.” — Jennifer Vitalbo, Managing Director, Government and Public Services Cyber Defense and Resilience Offering Leader, Deloitte & Touche LLP