원문: Introducing OfficeQA Pro V2: A New Benchmark for Enterprise Grounded Reasoning 저자: Databricks AI Research Team 게시일: 2026년 8월 6일
요약
- OfficeQA Pro V2 는 기업 문서 위에서 AI 에이전트의 근거 기반 추론(grounded reasoning) 능력을 평가하는 벤치마크입니다. 미국 재무부의 Accounts of Receipts and Expenditures(1793–2024) 약 12만 페이지·1,400여 PDF 에 근거한 90개 질문으로 구성됩니다.
- 표준 하네스를 쓴 프런티어 에이전트의 평균 정확도는 37.5% 였습니다. Databricks Genie 를 적용하자 매칭된 4개 모델 기준 37.5% → 52.8%(+15.3%p), 매칭 모델 비교 전반으로는 평균 +24.0%p(상대 92% 향상) 로 올랐고, 최고 구성은 60% 에 도달했습니다.
- 그럼에도 여전히 상당한 개선 여지가 남아 있습니다. 파싱 정확도, 시간에 따른 회계 관례의 정합(reconciliation), 개체(entity) 범위 해석 등에서 실패가 반복됩니다.
우리는 기업 문서 위에서 AI 에이전트의 근거 기반 추론을 평가하도록 설계한 벤치마크 OfficeQA Pro V2 를 공개합니다. 이 벤치마크는 Databricks 내부 작업에서 출발했으며, 주요 AI 기업들이 후원하고 11개 학술 팀이 참가한 첫 Databricks Grounded Reasoning Cup 의 평가 프레임워크로 사용되었습니다. 벤치마크는 미국 재무부의 Accounts of Receipts and Expenditures 문서 약 12만 페이지(1793–2024)에 근거한 90개 질문으로 구성됩니다. 이는 약 1,400개 PDF로, 미국 건국 250주년을 맞아 재무부가 처음으로 하나의 응집된(cohesive) 형태로 공개한 자료입니다. OfficeQA Pro V2를 만든 핵심 동기는, 원래의 OfficeQA 벤치마크에서 나온 개선이 근거 기반 추론의 진짜 발전인지 아니면 단지 특정 과제에 국한된 진전인지 확인하는 것이었습니다. 기업 환경은 단일하고 고정된 문서 모음을 다루는 경우가 드물기 때문에, 일반화(generalization) 여부를 시험하는 것이 중요합니다.
OfficeQA Pro V2에서의 에이전트 성능
기본 성능(out-of-the-box baseline). 각 제공사의 표준 하네스를 쓴 프런티어 에이전트 — Claude Code(Claude Opus 4.8, Claude Fable 5)와 Codex(GPT-5.5, GPT-5.6 Sol) — 는 평균 정확도 37.5% 를 기록했습니다. Grounded Reasoning Cup을 위해 별도로 개발된 에이전트들은 이보다 나은 평균 41.1% 를 냈고, 우승 팀은 63.3% 에 도달했습니다.
Databricks Genie 결과. 복잡한 기업 데이터 질문에 대응하도록 설계된 AI 에이전트 Databricks Genie로 평가하자 성능이 크게 향상됐습니다. 매칭된 4개 모델 기준으로 Genie는 정확도를 평균 37.5%에서 52.8%로(+15.3%p) 끌어올렸습니다. 매칭 모델 비교 전반에서는 평균 +24.0%p, 즉 상대 92% 향상이었습니다. 가장 강한 구성은 60% 에 도달했습니다. 예컨대 Claude Fable 5는 Genie의 최적화된 아키텍처를 통해 약 9배 낮은 비용으로 정확도를 대폭 개선했습니다.
비용–품질 분석. 모델 비용이 높다고 해서 정확도가 일관되게 높아지지는 않았습니다. 예를 들어 Claude Code의 Sonnet 5는 롤아웃당 4.70)에 33.3% 를 달성했습니다. Genie 구성 중 GPT-5.6 Luna, GPT-5.6 Terra, Claude Fable 5는 비용–품질 파레토 프런티어(Pareto frontier)를 지배했습니다.
지속되는 난제. 하네스 개선에도 불구하고 여전히 상당한 개선 여지(headroom)가 남아 있습니다. 시스템들은 원래 OfficeQA에서 관찰된 것과 유사한 실패 양상을 계속 보입니다 — 파싱 정확도 문제, 회계 관례가 시간에 따라 변하면서 생기는 잘못된 시점 정합(temporal reconciliation), 개체 범위나 범주 세분도(granularity)에 대한 오해입니다.
근거 기반 추론 벤치마크 만들기
진짜 일반화를 시험하려면, 기업에서 실제로 요구되는 역량 — 복잡한 문서 파싱, 적절한 근거 검색(retrieval), 근거 기반 분석 추론 — 을 반영하는 새 코퍼스가 필요했습니다. 미국 연방의 Accounts of Receipts and Expenditures 는 이전에는 통합된 데이터셋으로 제공된 적이 없어 이상적인 코퍼스였습니다. 이 모음은 약 1,400개 PDF·12만 페이지 로, 1793년부터 2024년까지의 상세한 미국 회계 기록을 담고 있습니다. 원래 OfficeQA 벤치마크에 쓰인 재무부 회보(Treasury Bulletin)와 마찬가지로, 이 코퍼스는 전형적인 기업의 난제를 반영합니다 — 조밀한 표와 차트, 시간이 지나며 수정되는 값, 진화하는 보고 관례, 그리고 깊은 제도적 지식(institutional knowledge)에 대한 요구입니다. 이 벤치마크의 질문은 원래의 OfficeQA Pro보다 훨씬 많은 출처 문서에서 근거를 요구합니다. OfficeQA Pro 질문은 평균 약 2개의 재무부 회보 문서를 참조했지만, OfficeQA Pro V2는 평균 6.7개(중앙값 5.5, 최대 24)의 출처 문서에서 근거를 요구합니다. 질문의 약 74.4% 가 4개 이상의 출처를 필요로 합니다 — OfficeQA Pro의 62.4%보다 높습니다. 원래 OfficeQA는 사람이 손으로 직접 만들었습니다. 품질을 담보하기 위해 여러 차례의 검토를 거쳐야 하는, 시간이 많이 들고 비용이 크며 확장하기 어려운 과정이었습니다.합성 데이터로 확장하기
OfficeQA Pro V2의 90개 질문은 내부 합성 데이터 파이프라인 asynth 로 구축했습니다. 절차는 네 단계로 이뤄집니다.
- 시딩(seeding) — 시간 구간(time period)과 분석 방법(analytical method) 같은 파라미터를 씨앗으로 설정
- 합성(synthesis) — 합성 에이전트가 코퍼스를 검색해 근거를 찾음
- 검증(verification) — 독립적인 여러 솔버(solver)를 통해 검증
- 수작업 검토(manual review) — 프런티어 모델의 풀이와 함께 사람이 최종 검토
예시 질문
질문의 난이도는 폭넓게 분포합니다. 낮은 난이도는 단일 항목을 찾는 유형입니다 — 예를 들어 1793년 문서에서 대법원장 존 제이(John Jay)의 급여를 찾는 질문입니다. 높은 난이도는 특정 방법을 사용해 여러 기관·연도에 걸쳐 예측(forecasting)을 수행하는 것과 같은, 여러 문서에 걸친 복합 추론을 요구합니다.
벤치마크 세부
- 질문의 74.4% 는 4개 이상의 출처 문서를 요구합니다.
- 7% 는 시각적 차트 해석(visual chart interpretation)을 요구합니다.
- 10% 는 보조적인 웹 검색(supplemental web search)을 요구합니다.
코퍼스의 진화
문서는 230년 이상에 걸쳐 있으며, 시대에 따라 관례가 크게 바뀝니다 — 고풍스러운 활자체(예: 긴 s, long-s 문자), 변화하는 표 형식, 진화하는 회계 용어, 그리고 종이에서 디지털로의 전환입니다.
1700년대 후반의 개별 지급 기록에서 시작해, 현대의 디지털 네이티브 보고서에 이르기까지 문서는 표준화된 표와 통합된 차트로 진화했습니다.
핵심 시사점. 하네스 개선에도 불구하고 이 벤치마크는 여전히 도전적입니다. 이는 AI 에이전트 시스템 안에서 파싱, 검색, 검증의 발전이 계속 필요하다는 점을 보여줍니다.