원문: Scaling Security Alert Triage With Specialized Agents on Databricks 저자: Leanne Shapton, Connor Hanify, Sam Pezzino 게시일: 2026년 7월 6일
요약
- 보안 팀은 모든 알림을 조사할 수 없기 때문에, 가장 양이 많고 노이즈가 심한 범주인 저심각도(low-severity) 알림은 대부분 조사되지 않은 채 남습니다. 이는 에이전트 기반 분류(triage)의 이상적인 대상이 됩니다.
- 우리는 각각 하나의 알림 소스에 맞춰 튜닝된 17개의 소스별 분류 에이전트를 구축했습니다. 이들은 Spark Structured Streaming 위에서 실시간으로 실행되며, 앞단에는 결정론적 필터링(deterministic filtering)이, 뒤에는 IOC 강화를 위한 공유 Threat Intelligence 에이전트가 있습니다.
- 그 결과: 이제 모든 저심각도 알림이 자동으로 분류됩니다 — HIGH/MEDIUM 에스컬레이션보다 10배 높은 참양성(true-positive) 비율로, 첫 30일 동안 6,500시간 이상의 분석가 시간을 절감했습니다.
저심각도가 곧 저우선순위를 뜻하지 않는다면?
Databricks는 엔드포인트 보안 도구, 클라우드 활동 로그, 위협 인텔리전스 피드를 포함한 다양한 소스로부터 페타바이트급 보안 로그를 보안 레이크하우스로 수집합니다. 우리의 탐지 아키텍처는 이 데이터에서 악의적 활동을 지속적으로 모니터링합니다. 식별된 모든 신호는 중앙 알림 테이블에 도착하여, 사고 대응(Incident Response, IR) 분석가의 검토를 기다립니다. 매일 수천 건의 보안 알림 속에서 진짜 위협을 찾는 것은 전형적인 건초더미 속 바늘 찾기 문제입니다. 대부분의 팀은 알림을 심각도별로 우선순위화하여 부하를 처리합니다. HIGH와 MEDIUM을 분류하고, 여력이 생기는 대로 LOW를 처리합니다. Databricks에서 우리의 IR 팀은 세 가지 우선순위 수준 모두에 걸쳐 보안 알림을 처리합니다. 역사적으로 팀은 LOW 알림의 양과 낮은 신뢰도(fidelity) 때문에 HIGH와 MEDIUM 알림을 우선시했습니다. 대규모의 모든 보안 팀은 동일한 트레이드오프에 직면합니다. 분석가 인원을 늘리거나, 알림 임계값을 높이고 사각지대를 감수하거나, 프로세스를 자동화할 방법을 찾는 것입니다. 우리는 대규모로 추론하고 판단을 실행할 수 있는 에이전트를 활용하여 후자를 선택했습니다.특화 에이전트의 필요성
에이전트가 보안 알림을 신뢰성 있게 분류하고 에스컬레이션할 수 있는지 검증하기 위해, 우리는 저심각도 알림부터 시작했습니다. 목표는 단순했습니다. 추가 조사가 필요한 알림을 식별하는 것입니다. 우리는 처음에 순진한 접근을 취했습니다. 관련된 모든 알림 데이터를 단일 프롬프트에 넣고 파운데이션 모델이 무엇을 에스컬레이션할지 결정하게 했습니다. 이 접근은 50%의 에스컬레이션 비율을 낳았습니다. 모든 알림의 절반을 분석가에게 보내는 것은 분류가 아니라 그저 또 다른 종류의 노이즈였습니다. 문제는 컨텍스트였습니다. 모든 알림에 걸쳐 추론하는 단일 에이전트는 각 소스에서 무엇이 비정상인지 구별할 방법이 없습니다. 알림을 정확하게 분류하는 데 필요한 모든 것 — 그 거짓양성(false-positive) 패턴, 행동 기준선(behavioral baseline), 관련 강화 정보 — 은 소스에 특화되어 있습니다. 그러한 컨텍스트가 없으면 모델이 가진 것은 일반적인 사이버보안 지식뿐이었고, 그것은 정확한 분류에 충분하지 않았습니다.아키텍처: 에이전트 함대(fleet)
우리는 파이프라인을 17개의 소스별 에이전트를 중심으로 재구축했으며, 각각을 단일 탐지 소스에 맞춰 튜닝했습니다. 정확한 분류에 필요한 컨텍스트가 소스에 매우 특화되어 있기 때문입니다. 하나의 소스가 수십 개의 뚜렷한 탐지를 방출할 수 있으며, 그 소스의 에이전트가 이들을 모두 처리합니다. 우리는 또한 저심각도 에이전트 분류 함대 옆에 자리하는 전용 Threat Intelligence(TI) 에이전트를 두었으며, 이는 어떤 에이전트든 더 깊은 조사가 필요한 지표나 행동을 마주쳤을 때 호출할 수 있습니다. TI 에이전트는 우리의 위협 인텔리전스 소스를 쿼리하여 구조화된 평가를 반환합니다. 이 아티팩트가 알려진 악성인지, 미상인지, 양성인지를 판단합니다. 이것이 중요한 이유는 원시 침해 지표(indicators of compromise)가 컨텍스트 없이는 무의미하기 때문입니다. IP 주소는 그저 숫자일 뿐입니다. “지난 14일간 C2 인프라와 연관됨, 높은 신뢰도”로 강화된 동일한 IP는 에이전트가 즉시 실행에 옮길 수 있습니다. Databricks의 Structured Streaming을 사용하여, 저심각도 알림은 트리거되는 대로 수집되고, TI 에이전트에 의해 추가 컨텍스트로 강화되며, 검토를 위해 적절한 서브 에이전트로 라우팅됩니다. 각 에이전트는 동일한 설계 원칙을 따릅니다.- 결정론적 필터링(Deterministic filtering). 프로그램적 검사가 알림 제목과 컨텍스트 필드를 매칭하여 알려진 양성 신호(신뢰된 IP 목록, 서비스 계정 활동, 예상된 툴링 동작 같은 환경 특유의 뉘앙스)를 억제하고, 어떠한 LLM 호출도 없이 즉각적인 판정을 내립니다. 이는 소스에 따라 알림 볼륨의 30~95%를 처리합니다. “알려진 안전한 IAM 역할이 예상된 작업을 수행” 또는 “관리자 이메일이 일상적인 워크스페이스 거버넌스를 수행” 같은 것들입니다. 필터링은 탐지 계층에서 일어날 수도 있고 분류 로직 바로 옆에서 일어날 수도 있습니다.
- 컨텍스트 강화(Context enrichment). LLM이 알림을 보기 전에, 에이전트는 영향받은 엔티티에 대한 최근 알림 이력, 관련 활동, 기타 관련 신호를 끌어옵니다. 에이전트는 강화 과정에서 다른 에이전트 역량을 호출할 수도 있습니다 — 예를 들어 알림에 조사할 가치가 있는 IP나 도메인이 포함되어 있을 때 전용 Threat Intelligence 에이전트를 호출합니다.
- 특화 프롬프트 함수(Specialized prompt functions). 각 알림 제목은 하나의 프롬프트 함수에 매핑됩니다. 예를 들어 S3 이상 접근 알림은 IAM 정찰(recon)을 평가하는 지침이 담긴 함수로 가고, 권한 상승 알림은 예상된 역할 가정(role assumption) 패턴과 예상치 못한 패턴을 아는 함수로 갑니다. 일치하는 전용 함수가 없으면 일반 폴백 프롬프트가 그 알림을 처리합니다. 프롬프트 함수는 알림을 확신 있게 분류하기 위해 추가 컨텍스트가 필요한지에 따라 단일 턴 모드(하나의 LLM 호출) 또는 에이전트 모드(다중 턴 툴 호출 루프)로 실행됩니다.
- 공유 도구(Shared tools). 도구는 선택적이며 에이전트별로 다릅니다. 분류에 더 많은 컨텍스트 — 원시 클라우드 감사 로그, 소스 간 상관된 알림, IdP 활동 이력 — 가 필요할 때, 우리는 에이전트에게 이를 조회할 도구를 갖춰 주고, LLM이 증거의 모호성에 따라 이를 호출할지 여부와 시점을 결정합니다.
- 공유 유틸리티(Shared utilities). 여러 에이전트를 유지하는 오버헤드를 관리하기 위해, 우리는 공유 유틸리티 코드를 에이전트 호출, 재시도, 성능 평가를 처리하는 공통 프레임워크로 리팩터링했습니다. 데이터 소스 전반에 일관된 모든 로직이 여기에 있으며, LLM 호출 루프, 판정 파싱, 도구 디스패치, Delta 테이블로의 결과 영속화, 토큰 추적, MLflow 트레이싱, 프롬프트 인젝션 탐지를 포함합니다.
- LLM 추론 및 판정(LLM reasoning and disposition). 모델은 증거 패키지를 분석하고, 판정(에스컬레이션, 모니터, 종료)과 뒷받침하는 분석을 포함한 구조화된 출력을 반환합니다.
- 비용 관리(Cost management). 지출에는 세 가지 통제 장치가 있습니다. 첫째, 결정론적 필터링은 알려진 양성 패턴과 일치하는 알림이 절대 LLM에 도달하지 않도록 보장합니다. 가장 저렴한 호출은 아예 하지 않는 호출입니다. 둘째, 비용 추적기가 각 배치에 걸쳐 추정 지출을 누적하고, 구성 가능한 상한에 도달하면 처리를 중단하며 남은 알림을 건너뜀(skipped)으로 기록합니다. 셋째, 일일 알림 상한이 인바운드 볼륨과 무관하게 총 일일 비용의 천장을 제공합니다. 각 알림 내에서는 카테고리별 도구 호출 예산이, LLM이 그렇지 않으면 추가 컨텍스트를 무한정 계속 쿼리할 수 있는 폭주 발견 루프(runaway discovery loop)를 방지합니다.
모든 에이전트 결정의 배후에 있는 인간 벤치마크
인간 분석가가 에스컬레이션된 티켓을 검토할 때, 에이전트를 확정하거나 뒤집는 그들의 결정은 평가를 위한 정답(ground truth)이 됩니다. 고정된 명세에 대해 테스트할 수 있는 결정론적 프로그램과 달리, 에이전트는 판단을 행사합니다. 동일한 알림이 실행에 따라 다른 출력을 낼 수 있습니다. 그래서 명세에 대해 테스트하는 대신, 우리는 고품질 분류 결정이 어떤 것인지 이미 아는 IR 분석가들이 개발한 표준 데이터셋에 대해 테스트합니다. 모든 에이전트 요청은 MLflow를 사용하여 기록되며, 입력, 중간 단계, 최종 출력을 캡처합니다. IR 분석가가 정상적인 워크플로우 과정에서 티켓을 라벨링하면, 각 라벨은 해당 MLflow 트레이스에 예상 응답(expected response)으로 직접 기록됩니다. 이렇게 라벨링된 트레이스는 분석가 판단을 대규모로 포착하는 정답 데이터셋을 확립합니다. 그 데이터셋은 앞으로의 모든 프롬프트 변경을 배포 전에 평가하는 벤치마크가 됩니다. 거짓양성을 넘어 측정하기 위해, 우리는 알림을 검토하고 MLflow 트레이스를 라벨링하는 인터페이스인 Databricks Review App을 사용할 계획입니다. 분석가는 각 알림에 대한 에이전트의 입력, 추론, 결정을 보고 예상 결과를 트레이스에 직접 기록할 수 있습니다. 이는 분석가가 에스컬레이션되지 않은 알림도 검토할 수 있게 하여, 에이전트가 모니터하거나 종료하기로 선택한 알림에 대한 정답 커버리지를 구축하고 세 가지 판정 모두에 걸친 완전한 기준을 제공합니다.결과
이제 보안 에이전트는 저심각도 알림의 100%를 검토합니다. 주요 지표는 다음과 같습니다.- 에이전트가 3.2%의 에스컬레이션 비율로 18,000건 이상의 알림을 분류했습니다.
- 에이전트가 에스컬레이션한 저심각도 알림은 HIGH 또는 MEDIUM 심각도 알림보다 약 10배 더 참양성일 가능성이 높았습니다.
- 중앙값 분류 시간: 10.5초.
- 첫 30일 동안 6,500시간 이상의 분석가 시간을 절감했습니다.
- 한 알림 소스의 거짓양성 비율을 72%에서 3.4%로 낮췄습니다.
- 22개의 의심스럽거나, 파킹(parked)되었거나, 악성인 도메인을 식별했습니다.
- 한 사용자가 크랙된 소프트웨어를 다운로드하여 실행한 사례를 잡아냈습니다. 에이전트는 정책 위반 및 악의적 의도와 일치하는 행동 지표를 플래그했습니다.