원문: How agentic software development will change databases
참고 요약
- AI 에이전트는 인간 사용자보다 약 4배 더 많은 데이터베이스를 생성하고 있으며, 이는 소프트웨어 개발 방식의 근본적인 변화를 반영합니다.
- 에이전틱 소프트웨어 개발은 세 가지 핵심 트렌드를 만들어냅니다: 빠른 진화적 개발, 비용 민감성, 오픈 소스 에코시스템 요구.
- Lakebase는 이러한 요구사항을 위해 설계되었습니다: 제로 비용의 진화적 브랜칭, 진정한 스케일-투-제로(scale-to-zero) 탄력성, 레이크 위의 오픈 Postgres 스토리지, 자가 관리 운영.
이전 블로그에서 우리는 스토리지와 컴퓨팅을 근본적으로 분리하는 3세대 데이터베이스 아키텍처인 Lakebase 를 소개했습니다. 이번 블로그에서는 이 변화가 낳는 핵심적인 결과를 탐구합니다: AI 에이전트는 소프트웨어 개발 라이프사이클을 어떻게 변화시키고 있으며, AI 에이전트에게 실제로 필요한 데이터베이스는 어떤 것인가? 소프트웨어 개발 라이프사이클은 급격한 변혁을 겪고 있습니다. LLM(대형 언어 모델)은 요구사항 분석, 코드 작성, 테스트 실행, 서비스 배포, 그리고 애플리케이션의 반복적 개선을 모두 기록적인 속도로 수행할 수 있는 새로운 에이전틱 프레임워크 세대를 가능하게 했습니다. 그 결과, 애플리케이션을 빌드하고 배포하는 한계 비용(marginal cost)이 급격히 하락하고 있습니다. 아직 에이전틱 소프트웨어 개발의 초기 단계에 있음에도 불구하고, Databricks 내부와 고객사 모두에서 실험의 속도는 가속화되고 있으며 빌드되는 애플리케이션의 절대적인 볼륨은 폭발적으로 증가하고 있다는 것을 일관되게 관찰하고 있습니다. 세상이 수작업 소프트웨어 개발에서 에이전틱 소프트웨어 개발로 전환함에 따라, 우리는 현대 데이터베이스 시스템의 요구사항을 공동으로 재정의할 세 가지 새로운 트렌드를 식별했습니다:
- 소프트웨어 개발은 기존의 느리고 선형적인 프로세스에서 빠른 진화적 프로세스로 전환될 것입니다.
- 소프트웨어의 전체적인 가치는 높아지겠지만, 소프트웨어 개발의 한계 비용이 낮아짐에 따라 개별 애플리케이션의 가치는 하락할 것입니다. 이는 최소한의 한계 비용으로 소프트웨어 개발을 지원할 수 있는 인프라가 필요함을 의미합니다. 특히, 이러한 작고 일시적인 데이터베이스 중 하나가 대규모 트래픽을 가진 운영 시스템이 될 수 있다는 사실도 아키텍처가 반드시 고려해야 합니다. 이는 원활하고 탄력적인 성장을 지원하는 능력을 근본적인 아키텍처 요구사항으로 만들어줍니다.
- 오픈 에코시스템은 단순한 선호가 아닌 엄격한 운영 요구사항이 될 것입니다.
빠른 진화적 소프트웨어 개발 (Rapid Evolutionary Software Development)
역사적으로 소프트웨어 개발 라이프사이클의 많은 부분이 매우 비용이 많이 들었기 때문에(코드 작성, 테스트, 운영), 새로운 애플리케이션을 빌드하고 운영하려면 상당한 엔지니어링 투자가 필요했습니다. 그 결과 전통적인 소프트웨어 개발은 신중한 계획과 비교적 선형적인 프로세스에 최적화되어 있었습니다. 에이전트는 이러한 역학을 바꿉니다. 이제 애플리케이션은 몇 분 안에 생성, 수정, 재배포될 수 있습니다. 하나의 신중하게 설계된 시스템을 구축하는 대신, 개발자와 에이전트는 점점 더 넓은 공간의 가능한 구현들을 탐색합니다. 개발은 진화 알고리즘을 닮아가기 시작했습니다:- 애플리케이션의 초기 버전을 생성합니다.
- 다른 스키마, 프롬프트, 또는 로직으로 빠르게 변형을 생성합니다.
- 결과를 평가합니다.
- 가장 성공적인 버전으로부터 개발을 계속합니다.
git checkout -b 명령으로 즉시 코드베이스의 브랜치를 생성할 수 있습니다. 하지만 레거시 데이터베이스 인프라는 데이터베이스 상태를 분기하는 빠르고 비용 효율적인 방법을 제공하지 않습니다.
Lakebase 는 이러한 에이전틱 진화 워크플로우를 기본적으로 지원하도록 설계되었습니다. 에이전트는 운영 또는 테스트 데이터베이스를 즉시, 거의 제로에 가까운 비용으로 브랜치할 수 있습니다. Lakebase는 스토리지 레이어에서 O(1) 메타데이터 카피-온-라이트(copy-on-write) 브랜칭 메커니즘을 사용하기 때문에, 비용이 많이 드는 실제 데이터 복사가 필요하지 않습니다. 코드와 함께 데이터를 브랜치하기만 하면 되며, 실험이 지속되는 동안의 데이터베이스 컴퓨팅 비용만 지불하면 됩니다.
비용 민감성 (Cost Sensitivity)
앞서 언급했듯이, 소프트웨어 전체 가치는 높아지겠지만 소프트웨어 개발의 한계 비용이 낮아짐에 따라 개별 애플리케이션의 가치는 하락할 것입니다. 에이전트가 생성한 많은 서비스들은 소규모 내부 도구, 프로토타입, 또는 좁은 워크플로우입니다. 가끔씩만 실행되거나, 높은 버스트성(bursty)의 이벤트 중심 워크플로우를 제공할 수도 있습니다. 이러한 세상에서 우리는 최소한의 한계 비용으로 새로운 소프트웨어 개발을 지원할 수 있는 인프라가 필요합니다. 애플리케이션 자체가 제한적이거나 실험적인 가치를 제공한다면, 기준 가격 하한선(baseline price floor)으로 월 수백 달러를 부과하는 데이터베이스는 경제적으로 정당화할 수 없습니다. 우리 데이터에 따르면, 이러한 에이전틱 애플리케이션의 약 절반은 데이터베이스 컴퓨팅 수명이 10초 미만입니다. 전통적인 데이터베이스는 고정된 프로비저닝과 운영 오버헤드를 가진 상시 운영(always-on) 인프라 컴포넌트로 설계되었습니다. 그 모델은 크고 안정적인 애플리케이션에는 맞지만, 애플리케이션이 수가 많고 일시적이며 수명이 짧을 때는 경제적으로 실패합니다. Lakebase의 서버리스(serverless), 탄력적 특성은 이러한 비용 문제를 직접적으로 해결합니다. 컴퓨팅 인스턴스를 스토리지 레이어에서 완전히 분리함으로써, Lakebase는 로드에 따라 서브초(sub-second) 단위로 데이터베이스 컴퓨팅을 자동으로 스케일링할 수 있습니다. 중요한 것은, 사용되지 않을 때 데이터베이스를 제로(zero)로 완전히 스케일 다운함으로써, 비용 하한선을 완전히 제거하고 거의 제로에 가까운 유휴 비용을 달성한다는 점입니다.소규모에서 대규모로의 성장 (Growing From Small to Large)
에이전트 중심 개발의 특성상, 테스트, 프로토타이핑, 좁은 워크플로우를 위해 대규모의 소형 일시적 데이터베이스들이 지속적으로 생성됩니다. 핵심적인 아키텍처 과제는 개발자와 에이전트 자신이 이러한 신생 애플리케이션 중 어느 것이 갑자기 성장하여 대규모 운영 트래픽을 요구하게 될지 예측할 수 없다는 점입니다. 따라서 데이터베이스 아키텍처는 본질적으로 작고 비용이 낮은 인스턴스에서 대규모 트래픽을 가진 완전한 운영 시스템으로의 원활한 탄력적 성장을 지원해야 합니다. 이 전환은 사용자의 수동 재플랫폼화(re-platforming), 프로비저닝, 또는 복잡한 마이그레이션 없이 이루어져야 합니다. 아키텍처 자체가 진화를 처리해야 하며, 에이전틱 탐색이 기본 개발 모델인 세상에서는 거의 제로에서 대규모 용량으로 즉시 스케일링하는 능력이 근본적인 요구사항입니다.오픈 소스 에코시스템 (Open Source Ecosystems)
에이전틱 시스템은 공개적으로 사용 가능한 소스 코드와 기술 문서의 방대한 말뭉치(corpora)로 훈련된 LLM으로부터 그 역량을 얻습니다. 이러한 학습 편향(training bias)은 에이전트에게 오픈 소스 에코시스템, API, 오류 의미론(error semantics)에 대한 깊고 실용적인 친숙함을 부여합니다. Postgres와 같은 데이터베이스는 오픈 소스 세계에 깊이 뿌리를 두고 있습니다. 그들의 인터페이스, 동작, 오류 코드는 현대 모델이 학습하는 훈련 데이터 전반에 걸쳐 등장합니다. 그 결과, 에이전트는 훨씬 더 신뢰성 있게 쿼리, 스키마, 통합을 생성할 수 있습니다. 독점(proprietary) 데이터베이스는 에이전트가 효과적으로 운영하기에 충분한 컨텍스트를 단순히 갖지 못하기 때문에 본질적인 불이익을 안고 있습니다. 에이전트 중심 개발에서 개방성은 더 이상 단순한 철학적 선호가 아닙니다. 이는 안정적인 자동화를 위한 실용적인 요구사항입니다. 하지만 이 요구사항은 단순히 쿼리 인터페이스를 넘어 스토리지 레이어 자체까지 확장되어야 합니다. 2세대 클라우드 데이터베이스가 오픈 소스 실행 엔진을 사용할 수 있지만, 여전히 독점적이고 내부적인 스토리지 포맷으로 데이터를 가둡니다. Lakebase 는 Postgres 위에 구축되지만, 개방성을 한 단계 더 끌어올립니다. Lakebase는 표준적이고 오픈된 Postgres 페이지 포맷으로 데이터를 클라우드 오브젝트 스토리지(데이터 레이크)에 직접 저장합니다. 이를 통해 에이전트, 외부 분석 엔진, 새로운 도구들이 단일 독점 컴퓨팅 엔진에 병목 현상 없이 데이터와 직접 상호작용할 수 있습니다.에이전틱 시대의 데이터베이스 (Databases for the Agentic Era)
이러한 변화는 가상의 이야기가 아닙니다. 이미 진행 중입니다. Databricks의 Lakebase 서비스에서, AI 에이전트는 현재 인간 사용자보다 약 4배 더 많은 데이터베이스 를 생성하고 있습니다. 이 데이터 포인트는 앞서 설명한 트렌드들을 하나의 차트에 담아냅니다.
에이전트는 실험을 위해 인스턴스를 구동하고, 테스트를 위해 브랜치를 만들고, 작업이 완료되면 이를 폐기하는, 데이터베이스 환경의 다작(prolific) 생성자입니다. 이러한 워크플로우를 지원하는 인프라는 경제적으로나 운영적으로 이 패턴을 지원할 수 있어야 합니다.
비용 효율성, 민첩성, 개방성과 같은 속성은 항상 바람직했습니다. 하지만 에이전틱 소프트웨어 개발의 부상은 이것들을 ‘있으면 좋은’ 것(nice-to-haves)에서 근본적인 요구사항으로 전환시켰습니다. 높은 비용 하한선을 부과하거나, 브랜칭 프리미티브(branching primitives)가 없거나, 독점 포맷에 데이터를 가두는 데이터베이스는 소프트웨어가 빌드되는 방식과 점점 맞지 않게 될 것입니다.
이것이 바로 Lakebase의 설계 공간입니다. Lakebase는 AI 중심 개발이 만들어내는 특정 경제적, 기술적 현실을 위해 구축되었습니다: 제로 비용의 진화적 브랜칭, 진정한 스케일-투-제로 탄력성, 레이크 위의 오픈 Postgres 스토리지, 자가 관리 운영.
에이전트가 소프트웨어의 빌드와 진화에 점점 더 많이 참여하게 됨에 따라, 이 새로운 세상에 가장 적합한 데이터베이스는 처음부터 실험, 개방성, 탄력성을 위해 설계된 것들입니다.
참고 관련 자료