Lakebase Postgres로 AI 에이전트 오케스트레이션 단순화하기

원문: Simplify AI agent orchestration with Lakebase Postgres 저자: Li Yu, Michelle Janney Coyle, Jon Cormack, Yarri Bryn, Alec Sorensen, Darshana Nair 게시일: 2026년 7월 22일

​

요약

• Postgres 위의 확장 가능한 태스크 큐(Scale-Ready Task Queue): Lakebase 테이블 한 쌍을 장시간 실행되는 에이전트 태스크를 위한 내구성 있고, 동시성에 안전하며, 크래시에 강인한 큐로 바꾸는 패턴을 깊이 있게 다룹니다 — 브로커, 캐시, 스케줄러 없이.
• 완전한 Databricks 네이티브 아키텍처: Lakebase, Databricks Apps, Lakeflow Jobs, MLflow, Unity Catalog Volumes를 엮어 에이전트 기반 문서 파싱을 위한 엔드투엔드 파이프라인을 만드는 레퍼런스 설계로, 운영해야 할 외부 인프라가 없습니다.
• 실시간 관측 가능성과 불변식(Invariants): Postgres LISTEN/NOTIFY 트리거와 Server-Sent Events(SSE)를 결합해, 비용과 태스크를 자동으로 추적하는 저지연 오퍼레이터 대시보드를 오버헤드 없이 구축하는 방법을 깊이 있게 다룹니다.

​

서론

​

에이전트 워크로드의 오케스트레이션 과제

• 예측 불가능한 태스크별 지연 시간: 두 페이지짜리 인보이스는 몇 초 만에 처리될 수 있지만, 200페이지짜리 계약서는 몇 분이 걸릴 수 있어 개별 태스크가 얼마나 오래 실행될지 예측하기 어렵습니다.
• 레이트 리밋을 고려한 스로틀링: LLM 및 비전 모델 엔드포인트는 주어진 기간 동안 처리할 수 있는 요청 수와 토큰 수를 제한합니다. 한 번에 수백 개의 태스크를 보내면 그 한도를 초과하여 스로틀링을 유발하고 반복적인 재시도로 이어질 수 있습니다. 오케스트레이터는 반응적 재시도에만 의존하는 대신, (동시 태스크 수, 토큰 예산, 또는 둘 다로) 진행 중인 작업량을 선제적으로 제한해야 합니다.
• 워크로드 우선순위 지정: 긴급 제출 건이 대량 배치 뒤에 밀려 지연되어서는 안 됩니다. 태스크별 우선순위는 더 높은 우선순위의 작업(인터랙티브 제출, 프리미엄 등급 요청, 오퍼레이터가 시작한 재처리)이 먼저 디스패치되도록 보장합니다.
• 태스크별 비용 귀속: 재무 팀은 지출을 특정 태스크, 고객, 에이전트에 귀속시키고, AI 토큰 사용량과 컴퓨트 소비로 나누어 파악해야 합니다.
• 실시간 진행 상황 가시성: 수백 개의 문서를 업로드하는 사용자는 실시간 진행 상황 뷰를 필요로 합니다.

​

솔루션 아키텍처

• 웹 애플리케이션 (Databricks Apps): 사용자가 PDF를 업로드하고(Unity Catalog Volumes에 저장됨) 파싱 요청을 제출하는 FastAPI 기반 사용자 인터페이스입니다. 요청은 Lakebase의 task 테이블에 직접 기록됩니다.
• Lakebase: 오케스트레이터의 관계형 상태를 관련 테이블에 걸쳐 호스팅하는 오토스케일링 Postgres 데이터베이스입니다. tasks(파싱할 문서로, 상태·리스 정보·구조화된 결과를 보관), task_attempts(실행 시도당 한 행으로, Databricks Job 실행 ID·MLflow 트레이스 ID·시도별 비용 메타데이터를 캡처)로 구성됩니다. Lakebase는 오케스트레이터 상태에 대한 단일 진실 공급원(single source of truth) 역할을 합니다.
• 오케스트레이터 (Databricks Apps): 장시간 실행되는 워커 데몬이자 오퍼레이터 대시보드입니다. 데몬은 Lakebase에서 태스크를 디큐(dequeue)하여 AI Agents 계층으로 디스패치하고, 결과를 다시 기록합니다. 대시보드는 동일한 테이블을 읽어 실시간 상태를 표시합니다.
• AI Agents (Lakeflow Jobs): Lakeflow Jobs가 파싱 작업을 실행합니다. 각 Job은 Unity Catalog Volumes에서 PDF를 읽고, Intelligent Document Processing 및 비전/LLM 호출을 통해 이를 처리하며, 파싱된 출력을 Lakebase에 저장하고, 웹훅을 통해 오케스트레이터에게 확인을 보냅니다. MLflow Tracing이 모델 호출, 토큰 사용량, 지연 시간, 비용 메타데이터 같은 실행 세부사항을 캡처합니다.

​

태스크 큐 구현

​

동시성·우선순위를 고려한 디큐잉

-- 우선순위 순 + 동시성 안전 디큐: 잠긴 행은 건너뛰어 워커 간 경합 방지
SELECT *
FROM tasks
WHERE status = 'enqueued'
ORDER BY priority DESC, created_at   -- 우선순위 높은 태스크 우선, 동일 우선순위 내 FIFO
LIMIT batch_size
FOR UPDATE SKIP LOCKED;

​

리스 기반 잠금을 통한 크래시 복구

-- 디큐 시 리스 만료 시각을 기록해, 워커가 죽으면 자동 회수 가능하게 함
UPDATE tasks
SET status = 'processing',
    locked_by = :worker_id,
    lease_expires_at = now() + :lease_duration   -- 리스 유효 기간(초과 시 재인큐 대상)
WHERE id = :task_id;

​

레이트 리밋을 고려한 스로틀링

-- 현재 처리 중(PROCESSING) 태스크 수를 세어 동시성 상한 판단
SELECT count(*)
FROM tasks
WHERE status = 'processing';

​

멱등적 웹훅 콜백

​

실시간 오퍼레이터 대시보드

​

대시보드 기능

• 상태별 태스크 총계. 각 상태(enqueued, processing, completed, failed, cancelled)의 태스크 수로, 상태 전이가 발생할 때 실시간으로 갱신됩니다.
• 입력 및 출력 토큰. MLflow Traces에서 가져온 태스크별 및 집계 토큰 수입니다.
• LLM 비용. MLflow Traces에서 나온 모델 방출 추정치(model-emitted estimate)로, 각 모델 호출 후 몇 초 내에 사용 가능합니다.
• 컴퓨트 비용. system.billing.usage에서 가져온, 오케스트레이터의 태스크 실행에 귀속되는 Serverless Jobs 컴퓨트 비용입니다.
• 중앙값 응답 시간. 완료된 태스크에 걸쳐 계산됩니다. 재시도-백오프 이상값과 포화 상태의 큐잉-테일 지연에 의한 왜곡을 피하기 위해 평균 대신 중앙값을 사용합니다.
• 신뢰도(Confidence). AI Agents 계층이 반환한 문서별 신뢰도 점수로, 태스크 결과와 함께 표시됩니다.

​

구현

​

애플리케이션별 비용 귀속

​

오케스트레이션의 중추(Backbone)로서의 Lakebase

• 오토스케일링 컴퓨트. Lakebase는 워크로드에 맞춰 Postgres 컴퓨트 유닛을 위아래로 확장하여, 오케스트레이터가 최대 용량을 24시간 내내 지불하지 않고도 데이터베이스에 의존할 수 있게 합니다.
• OAuth 로테이션 인증. Lakebase는 연결 인증에 수명이 짧은 OAuth 토큰을 사용합니다. 커넥션 풀이 토큰을 자동으로 갱신하여, 애플리케이션 구성에서 정적 자격 증명을 없애고 로테이션 런북(runbook)을 제거합니다.
• Unity Catalog 통합. Lakebase는 Databricks의 나머지 부분과 아이덴티티, 권한, 거버넌스를 공유합니다. 오케스트레이터의 서비스 프린시펄(service principal)은 tasks와 results 테이블에 대한 명시적 권한을 부여받으며, 별도의 IAM 구성이 필요하지 않습니다.
• 브랜칭 및 스냅샷. 프로덕션 태스크 테이블을 디버깅을 위해 개발 환경으로 복제하는 것은 표준 Lakebase 작업이며, 네이티브로 지원됩니다.

​

임팩트 및 결론