> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sifi.life/llms.txt
> Use this file to discover all available pages before exploring further.

# Databricks에서 특화 에이전트로 보안 알림 분류(triage) 확장하기

> 17개 소스별 에이전트로 저심각도 알림을 실시간 자동 분류, 첫 30일 6,500시간 절감

> **원문**: [Scaling Security Alert Triage With Specialized Agents on Databricks](https://www.databricks.com/blog/scaling-security-alert-triage-specialized-agents-databricks)
> **저자**: Leanne Shapton, Connor Hanify, Sam Pezzino
> **게시일**: 2026년 7월 6일

## 요약

* 보안 팀은 모든 알림을 조사할 수 없기 때문에, 가장 양이 많고 노이즈가 심한 범주인 **저심각도(low-severity) 알림**은 대부분 조사되지 않은 채 남습니다. 이는 에이전트 기반 분류(triage)의 이상적인 대상이 됩니다.
* 우리는 각각 하나의 알림 소스에 맞춰 튜닝된 **17개의 소스별 분류 에이전트**를 구축했습니다. 이들은 Spark Structured Streaming 위에서 실시간으로 실행되며, 앞단에는 결정론적 필터링(deterministic filtering)이, 뒤에는 IOC 강화를 위한 공유 Threat Intelligence 에이전트가 있습니다.
* 그 결과: 이제 모든 저심각도 알림이 자동으로 분류됩니다 — HIGH/MEDIUM 에스컬레이션보다 **10배 높은 참양성(true-positive) 비율**로, 첫 30일 동안 6,500시간 이상의 분석가 시간을 절감했습니다.

***

## 저심각도가 곧 저우선순위를 뜻하지 않는다면?

Databricks는 엔드포인트 보안 도구, 클라우드 활동 로그, 위협 인텔리전스 피드를 포함한 다양한 소스로부터 페타바이트급 보안 로그를 보안 레이크하우스로 수집합니다. 우리의 탐지 아키텍처는 이 데이터에서 악의적 활동을 지속적으로 모니터링합니다. 식별된 모든 신호는 중앙 알림 테이블에 도착하여, 사고 대응(Incident Response, IR) 분석가의 검토를 기다립니다.

매일 수천 건의 보안 알림 속에서 진짜 위협을 찾는 것은 전형적인 건초더미 속 바늘 찾기 문제입니다. 대부분의 팀은 알림을 심각도별로 우선순위화하여 부하를 처리합니다. HIGH와 MEDIUM을 분류하고, 여력이 생기는 대로 LOW를 처리합니다.

Databricks에서 우리의 IR 팀은 세 가지 우선순위 수준 모두에 걸쳐 보안 알림을 처리합니다. 역사적으로 팀은 LOW 알림의 양과 낮은 신뢰도(fidelity) 때문에 HIGH와 MEDIUM 알림을 우선시했습니다. 대규모의 모든 보안 팀은 동일한 트레이드오프에 직면합니다. 분석가 인원을 늘리거나, 알림 임계값을 높이고 사각지대를 감수하거나, 프로세스를 자동화할 방법을 찾는 것입니다. 우리는 대규모로 추론하고 판단을 실행할 수 있는 에이전트를 활용하여 후자를 선택했습니다.

## 특화 에이전트의 필요성

에이전트가 보안 알림을 신뢰성 있게 분류하고 에스컬레이션할 수 있는지 검증하기 위해, 우리는 저심각도 알림부터 시작했습니다. 목표는 단순했습니다. 추가 조사가 필요한 알림을 식별하는 것입니다.

우리는 처음에 순진한 접근을 취했습니다. 관련된 모든 알림 데이터를 단일 프롬프트에 넣고 파운데이션 모델이 무엇을 에스컬레이션할지 결정하게 했습니다. 이 접근은 50%의 에스컬레이션 비율을 낳았습니다. 모든 알림의 절반을 분석가에게 보내는 것은 분류가 아니라 그저 또 다른 종류의 노이즈였습니다.

문제는 컨텍스트였습니다. 모든 알림에 걸쳐 추론하는 단일 에이전트는 각 소스에서 무엇이 비정상인지 구별할 방법이 없습니다. 알림을 정확하게 분류하는 데 필요한 모든 것 — 그 거짓양성(false-positive) 패턴, 행동 기준선(behavioral baseline), 관련 강화 정보 — 은 소스에 특화되어 있습니다. 그러한 컨텍스트가 없으면 모델이 가진 것은 일반적인 사이버보안 지식뿐이었고, 그것은 정확한 분류에 충분하지 않았습니다.

## 아키텍처: 에이전트 함대(fleet)

우리는 파이프라인을 17개의 소스별 에이전트를 중심으로 재구축했으며, 각각을 단일 탐지 소스에 맞춰 튜닝했습니다. 정확한 분류에 필요한 컨텍스트가 소스에 매우 특화되어 있기 때문입니다. 하나의 소스가 수십 개의 뚜렷한 탐지를 방출할 수 있으며, 그 소스의 에이전트가 이들을 모두 처리합니다.

우리는 또한 저심각도 에이전트 분류 함대 옆에 자리하는 전용 Threat Intelligence(TI) 에이전트를 두었으며, 이는 어떤 에이전트든 더 깊은 조사가 필요한 지표나 행동을 마주쳤을 때 호출할 수 있습니다. TI 에이전트는 우리의 위협 인텔리전스 소스를 쿼리하여 구조화된 평가를 반환합니다. 이 아티팩트가 알려진 악성인지, 미상인지, 양성인지를 판단합니다. 이것이 중요한 이유는 원시 침해 지표(indicators of compromise)가 컨텍스트 없이는 무의미하기 때문입니다. IP 주소는 그저 숫자일 뿐입니다. "지난 14일간 C2 인프라와 연관됨, 높은 신뢰도"로 강화된 동일한 IP는 에이전트가 즉시 실행에 옮길 수 있습니다.

Databricks의 Structured Streaming을 사용하여, 저심각도 알림은 트리거되는 대로 수집되고, TI 에이전트에 의해 추가 컨텍스트로 강화되며, 검토를 위해 적절한 서브 에이전트로 라우팅됩니다.

각 에이전트는 동일한 설계 원칙을 따릅니다.

* **결정론적 필터링(Deterministic filtering).** 프로그램적 검사가 알림 제목과 컨텍스트 필드를 매칭하여 알려진 양성 신호(신뢰된 IP 목록, 서비스 계정 활동, 예상된 툴링 동작 같은 환경 특유의 뉘앙스)를 억제하고, 어떠한 LLM 호출도 없이 즉각적인 판정을 내립니다. 이는 소스에 따라 알림 볼륨의 30\~95%를 처리합니다. "알려진 안전한 IAM 역할이 예상된 작업을 수행" 또는 "관리자 이메일이 일상적인 워크스페이스 거버넌스를 수행" 같은 것들입니다. 필터링은 탐지 계층에서 일어날 수도 있고 분류 로직 바로 옆에서 일어날 수도 있습니다.
* **컨텍스트 강화(Context enrichment).** LLM이 알림을 보기 전에, 에이전트는 영향받은 엔티티에 대한 최근 알림 이력, 관련 활동, 기타 관련 신호를 끌어옵니다. 에이전트는 강화 과정에서 다른 에이전트 역량을 호출할 수도 있습니다 — 예를 들어 알림에 조사할 가치가 있는 IP나 도메인이 포함되어 있을 때 전용 Threat Intelligence 에이전트를 호출합니다.
* **특화 프롬프트 함수(Specialized prompt functions).** 각 알림 제목은 하나의 프롬프트 함수에 매핑됩니다. 예를 들어 S3 이상 접근 알림은 IAM 정찰(recon)을 평가하는 지침이 담긴 함수로 가고, 권한 상승 알림은 예상된 역할 가정(role assumption) 패턴과 예상치 못한 패턴을 아는 함수로 갑니다. 일치하는 전용 함수가 없으면 일반 폴백 프롬프트가 그 알림을 처리합니다. 프롬프트 함수는 알림을 확신 있게 분류하기 위해 추가 컨텍스트가 필요한지에 따라 단일 턴 모드(하나의 LLM 호출) 또는 에이전트 모드(다중 턴 툴 호출 루프)로 실행됩니다.
* **공유 도구(Shared tools).** 도구는 선택적이며 에이전트별로 다릅니다. 분류에 더 많은 컨텍스트 — 원시 클라우드 감사 로그, 소스 간 상관된 알림, IdP 활동 이력 — 가 필요할 때, 우리는 에이전트에게 이를 조회할 도구를 갖춰 주고, LLM이 증거의 모호성에 따라 이를 호출할지 여부와 시점을 결정합니다.
* **공유 유틸리티(Shared utilities).** 여러 에이전트를 유지하는 오버헤드를 관리하기 위해, 우리는 공유 유틸리티 코드를 에이전트 호출, 재시도, 성능 평가를 처리하는 공통 프레임워크로 리팩터링했습니다. 데이터 소스 전반에 일관된 모든 로직이 여기에 있으며, LLM 호출 루프, 판정 파싱, 도구 디스패치, Delta 테이블로의 결과 영속화, 토큰 추적, MLflow 트레이싱, 프롬프트 인젝션 탐지를 포함합니다.
* **LLM 추론 및 판정(LLM reasoning and disposition).** 모델은 증거 패키지를 분석하고, 판정(에스컬레이션, 모니터, 종료)과 뒷받침하는 분석을 포함한 구조화된 출력을 반환합니다.
* **비용 관리(Cost management).** 지출에는 세 가지 통제 장치가 있습니다. 첫째, 결정론적 필터링은 알려진 양성 패턴과 일치하는 알림이 절대 LLM에 도달하지 않도록 보장합니다. 가장 저렴한 호출은 아예 하지 않는 호출입니다. 둘째, 비용 추적기가 각 배치에 걸쳐 추정 지출을 누적하고, 구성 가능한 상한에 도달하면 처리를 중단하며 남은 알림을 건너뜀(skipped)으로 기록합니다. 셋째, 일일 알림 상한이 인바운드 볼륨과 무관하게 총 일일 비용의 천장을 제공합니다. 각 알림 내에서는 카테고리별 도구 호출 예산이, LLM이 그렇지 않으면 추가 컨텍스트를 무한정 계속 쿼리할 수 있는 폭주 발견 루프(runaway discovery loop)를 방지합니다.

에이전트가 에스컬레이션을 결정하면, 그 알림은 IR 큐의 티켓이 되고, 분석가가 최종 분류 결정을 내리기 전에 원시 알림과 에이전트의 분석을 모두 검토합니다. 분석가가 에이전트의 에스컬레이션에 동의하지 않으면, 티켓은 거짓양성으로 라벨링되고 그 피드백은 에이전트의 성능을 튜닝하는 데 사용됩니다. 우리는 에이전트가 에스컬레이션한 LOW 알림이 기존에 HIGH 및 MEDIUM 심각도로 우선순위화된 알림보다 약 10배 더 참양성일 가능성이 높다는 것을 발견했습니다.

![알림 분류 흐름(Alert Triage Flow)](https://www.databricks.com/sites/default/files/inline-images/databricks_alert_flow.png)

## 모든 에이전트 결정의 배후에 있는 인간 벤치마크

인간 분석가가 에스컬레이션된 티켓을 검토할 때, 에이전트를 확정하거나 뒤집는 그들의 결정은 평가를 위한 정답(ground truth)이 됩니다. 고정된 명세에 대해 테스트할 수 있는 결정론적 프로그램과 달리, 에이전트는 판단을 행사합니다. 동일한 알림이 실행에 따라 다른 출력을 낼 수 있습니다. 그래서 명세에 대해 테스트하는 대신, 우리는 고품질 분류 결정이 어떤 것인지 이미 아는 IR 분석가들이 개발한 표준 데이터셋에 대해 테스트합니다.

모든 에이전트 요청은 MLflow를 사용하여 기록되며, 입력, 중간 단계, 최종 출력을 캡처합니다. IR 분석가가 정상적인 워크플로우 과정에서 티켓을 라벨링하면, 각 라벨은 해당 MLflow 트레이스에 예상 응답(expected response)으로 직접 기록됩니다. 이렇게 라벨링된 트레이스는 분석가 판단을 대규모로 포착하는 정답 데이터셋을 확립합니다. 그 데이터셋은 앞으로의 모든 프롬프트 변경을 배포 전에 평가하는 벤치마크가 됩니다.

거짓양성을 넘어 측정하기 위해, 우리는 알림을 검토하고 MLflow 트레이스를 라벨링하는 인터페이스인 Databricks Review App을 사용할 계획입니다. 분석가는 각 알림에 대한 에이전트의 입력, 추론, 결정을 보고 예상 결과를 트레이스에 직접 기록할 수 있습니다. 이는 분석가가 에스컬레이션되지 않은 알림도 검토할 수 있게 하여, 에이전트가 모니터하거나 종료하기로 선택한 알림에 대한 정답 커버리지를 구축하고 세 가지 판정 모두에 걸친 완전한 기준을 제공합니다.

## 결과

이제 보안 에이전트는 저심각도 알림의 100%를 검토합니다. 주요 지표는 다음과 같습니다.

* 에이전트가 3.2%의 에스컬레이션 비율로 18,000건 이상의 알림을 분류했습니다.
* 에이전트가 에스컬레이션한 저심각도 알림은 HIGH 또는 MEDIUM 심각도 알림보다 약 10배 더 참양성일 가능성이 높았습니다.
* 중앙값 분류 시간: 10.5초.
* 첫 30일 동안 6,500시간 이상의 분석가 시간을 절감했습니다.

에이전트가 에스컬레이션한 주목할 만한 발견들:

* 한 알림 소스의 거짓양성 비율을 72%에서 3.4%로 낮췄습니다.
* 22개의 의심스럽거나, 파킹(parked)되었거나, 악성인 도메인을 식별했습니다.
* 한 사용자가 크랙된 소프트웨어를 다운로드하여 실행한 사례를 잡아냈습니다. 에이전트는 정책 위반 및 악의적 의도와 일치하는 행동 지표를 플래그했습니다.

## 우리가 배운 것

**LLM은 고엔트로피 보안 데이터에서 환각을 일으킨다.** 해시, 무작위 서브도메인, 생성된 파일 이름은 언어 모델에게 어렵습니다. 모델은 언어에 패턴이 있기 때문에 언어에 대해 추론하는 데 능숙합니다. 해시 같은 보안 아티팩트는 의도적으로 패턴이 없으며, 바로 그것이 LLM에게 어렵게 만드는 요소입니다. 정확성을 보장하기 위해, 우리는 모델을 회상(recall)이 아니라 추론(reasoning)에 사용합니다. 특정 아티팩트 값은 모델의 기억이 아니라 권위 있는 소스로의 도구 호출을 통해 조회됩니다.

**컨텍스트가 왕(Context is king)이다.** 가장 큰 성능 향상은 과거 알림 데이터, 알림 유형별 거짓양성 비율, 명시적 행동 패턴을 각 프롬프트에 추가한 데서 나왔습니다. 어떤 알림이든 처리할 때, 분류 에이전트는 영향받은 사용자의 지난 6개월 알림 이력을 끌어옵니다. 여러 경우에 에이전트는 트리거된 이벤트 자체가 개별적으로 높은 신뢰도였기 때문이 아니라, 그것이 동일 사용자로부터의 세 번째 또는 네 번째 의심스러운 신호였기 때문에 알림을 에스컬레이션했습니다. 그런 종류의 행동 상관관계는 기존의 결정론적 탐지 규칙이 포착하기 어려운 것입니다.

**예측 가능한 것은 자동화하고, 에이전트는 예측 불가능한 것에 대해서만 추론하게 하라.** 가능한 한, LLM이 봐야 할 범위를 제한하기 위해 결정론적 워크플로우를 선택하세요. 지침이 개방적일수록 거짓양성 비율이 높아집니다. 빡빡하게 범위가 정해진 단계별 에이전트 지침이 광범위한 프롬프트를 일관되게 능가했습니다. LLM이 알림을 보기 전에 규칙 기반 필터링을 적용하는 것이 이것의 가장 효과적인 예 중 하나입니다.

## Databricks 위에 구축

이 시스템은 Databricks 위에 구축되었으며, 실시간 알림 수집을 위한 Spark Structured Streaming, 알림 영속화 및 리포팅을 위한 Delta 테이블, 모든 에이전트 결정을 엔드투엔드로 캡처하기 위한 MLflow Tracing, 그리고 분석가가 트레이스를 라벨링하고 프로덕션 데이터로부터 직접 정답을 구축할 수 있게 하는 Databricks Review App을 사용합니다.

Databricks에서 우리는 우리가 사용하는 도구를 만듭니다. 이는 우리 자신의 플랫폼이 어떻게 AI 네이티브 보안 운영을 구동하는지 보여주는 하나의 예입니다. 다음 편에서는 Databricks Genie가 어떻게 SOC에 자연어 조사를 가져와, IR 분석가가 알림 데이터를 쿼리하고, 컨텍스트를 탐색하며, 대화형으로 위협을 조사할 수 있게 하는지 다룰 예정입니다.