Databricks & the Future of the Firm

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Databricks는 Spark·Lakehouse·Lakebase로 이어지는 데이터 아키텍처 혁신을 바탕으로 에이전트 중심의 업무와 직원의 자율적 판단을 지원하려 하며, 글은 이러한 변화의 실현 조건으로 조직의 진화를 강조한다.

📌 핵심 요약

• 글은 에이전트 기반 업무 자동화와 현장 직원의 주도권 확대를 향후 일하는 방식의 핵심 변화로 제시하며, 이를 실현하려면 기업의 기록·의사결정 체계와 조직 운영 방식도 바뀌어야 한다고 주장한다.
• Databricks는 연환산 매출 규모 70억 달러를 넘어서고 전년 대비 80% 성장했다고 소개된다. 현재 사람보다 에이전트가 더 많은 쿼리를 실행하며, 에이전트가 매일 생성하는 데이터베이스는 1,700만 개를 넘는다.
• Spark는 반복 계산에 쓰이는 데이터를 메모리에 유지해 Hadoop 대비 해당 작업을 최대 10배 빠르게 처리했다. 이후 Lakehouse는 데이터 레이크와 웨어하우스를 결합해 SQL 분석과 머신러닝이 같은 데이터 기반을 공유하도록 했으며, 연환산 매출 규모는 15억 달러 이상, 전년 대비 성장률은 100% 이상으로 제시된다.
• Databricks는 2025년 서버리스 Postgres 기업 Neon을 인수해 Lakebase에 통합했다. Lakebase는 저장과 연산을 분리하고 운영 데이터베이스와 분석의 저장 기반을 공유하며, 페타바이트 규모 데이터베이스도 수초 안에 분기할 수 있어 에이전트의 격리된 실험을 지원한다. 출시 이후 연환산 매출 규모는 1억 달러를 넘었다.
• Ali Ghodsi는 2026년 Data + AI Summit에서 AGI가 이미 도래했다고 주장했고, 글은 최신 에이전트가 숙련 엔지니어의 하루 분량 코딩 작업을 수행한다고 설명한다. 다만 제공된 본문은 METR의 연구를 소개하는 문장 중간에서 끊겨 있어 이후 근거나 결론은 확인할 수 없다.

🧩 주요 포인트

1. 기록·의사결정 체계가 직원의 행동 범위를 제한한다는 진단 → 데이터 아키텍처 개선이 자율성 확대로 이어지려면 조직의 권한과 업무 방식도 함께 진화해야 한다.
2. Spark의 반복 연산 개선에서 Lakehouse의 분석 통합, Lakebase의 운영 데이터 통합으로 확장 → Databricks의 경쟁력은 단계적으로 축적된 데이터 기반을 에이전트 활용으로 연결하는 데 있다는 것이 글의 해석이다.
3. 에이전트의 대규모 데이터베이스 생성과 Lakebase의 빠른 분기 기능 → 데이터베이스가 에이전트의 실험과 실행을 뒷받침하는 기반이 되며, 사람의 역할은 원하는 결과를 정하고 작업을 관리하는 방향으로 바뀔 수 있다.

🧠 상세 정리

1. 업무 자동화와 현장 주도권을 위한 조직의 변화

글은 앞으로 20년 동안 크게 달라질 질문으로 사람들이 직장에서 하루 종일 무엇을 하는지를 제시하고, 그 변화를 이끌 두 축으로 에이전트 기반 자동화와 직원의 주도권 확대를 꼽는다. 전자는 현재 수행하는 업무를 설명하면 자동화하는 것이고, 후자는 문제에 가장 가까운 사람이 정보와 권한이 여러 관리 계층을 오가기를 기다리지 않고 기회를 조사하고 행동하는 것이다. 다만 저자들은 이러한 변화가 실현되려면 조직이 새로운 업무 방식에 맞게 진화해야 한다는 강한 조건을 붙인다. 직원의 일상 업무는 고용주의 기록·의사결정 체계에 크게 제약받고, 그 체계는 다시 사용하는 데이터베이스 기술이 허용하는 범위에 영향을 받는다는 설명이다. James Burnham의 The Managerial Revolution이 묘사한 전문 관리자 중심의 의사결정 집중을 배경으로, 글은 새로운 기술이 현장 실무자에게 책임을 되돌릴 수 있다고 주장한다.

2. Databricks의 성장과 Spark의 출발

Ben Horowitz와 Michael McGuiness가 2026년 10월 27일 게시한 글은 Databricks를 연환산 매출 규모 70억 달러 이상, 전년 대비 성장률 80%의 기업으로 소개하면서도 구체적인 역할은 널리 이해되지 않았다고 평가한다. 회사가 단순히 AI 유행에 올라탄 것이 아니라, AI 연구자들이 그보다 약 10년 앞서 시작한 사업이며 Spark·Lakehouse·Lakebase·에이전트라는 네 기술 발전 곡선이 다음 기회를 열었다는 것이 서사의 출발점이다. 2009년 UC Berkeley 방문 연구원이던 Ali Ghodsi가 지켜본 Hadoop은 저렴한 서버 수천 대에 처리를 분산했지만, 계산 단계마다 결과를 디스크에 저장해 반복적인 머신러닝 작업에서 큰 지연을 일으켰다. Berkeley 박사과정 학생 Matei Zaharia가 만든 Apache Spark는 자주 재사용하는 데이터를 서버 메모리에 유지하면서 장애 복구 능력도 보존해 이러한 반복 작업을 최대 10배 빠르게 했다. 연구실은 2010년 Spark를 오픈소스로 공개했고, 3년 뒤 Ali와 Matei 및 동료 연구자 5명이 Databricks를 설립해 클러스터 운영·확장·보안의 복잡성을 기업용 단일 플랫폼 뒤로 감췄다.

3. 데이터 레이크와 웨어하우스의 분리

Spark가 처리 속도를 높인 뒤에도 기업 데이터가 서로 다른 저장 세계에 나뉘어 있다는 문제는 남아 있었다. 데이터 웨어하우스는 SQL 질의와 보고에 필요한 구조화되고 신뢰할 수 있는 기록을 보관했고, 데이터 레이크는 문서·이미지·녹음·로그 등을 저렴하게 저장했지만 입력 시 검증과 구조화가 부족해 신뢰하기 어려운 데이터가 쌓이기도 했다. TensorFlow와 PyTorch 같은 AI 오픈소스 도구가 레이크 주변에서 발전했어도, 이런 데이터 더미에서 가치를 얻기 어려워 데이터 늪이라는 별칭이 붙었다. 엔지니어와 데이터 과학자는 Python으로 레이크를 사용하고 분석가는 SQL로 웨어하우스를 사용했으며, 양쪽 데이터를 연결하려면 별도 파이프라인이 필요해 복사본·권한·정의의 불일치가 늘어났다. 2010년대 후반 Databricks·Uber·Netflix가 각각 추진한 Delta Lake·Hudi·Iceberg는 레이크 파일 위에 테이블 계층을 추가해 원자적 갱신, 스키마 관리, 버전 이력 같은 웨어하우스 수준의 보장을 제공했다.

4. Lakehouse가 통합한 분석과 머신러닝

글은 Databricks가 2020년 데이터 레이크와 웨어하우스를 합친 Lakehouse를 만들었다고 설명하며, 이를 저렴하고 유연한 저장 공간에 신뢰성과 빠른 질의 성능을 결합한 아키텍처로 제시한다. 레이크의 데이터를 신뢰성 때문에 별도 웨어하우스로 옮길 필요가 줄어들고, SQL 분석과 머신러닝이 동일한 기반에서 주요 작업으로 지원되면서 엔지니어·데이터 과학자·분석가가 공유할 토대가 마련됐다는 것이다. 글에 따르면 Databricks의 Lakehouse는 연환산 매출 규모 15억 달러 이상이며 전년 대비 100% 넘게 성장하고 있다. Amazon CTO Werner Vogels의 2020년 1월 글도 인용되는데, 그는 다양한 데이터를 전통적 웨어하우스에 결합하려면 많은 데이터 준비와 ETL이 필요하고 경직된 구조를 계속 바꿔야 한다고 설명했다. 레이크는 여러 형식의 데이터를 받아들이므로 이러한 절충을 줄이며, 크고 다양한 데이터셋에서 성과를 내는 머신러닝과 AI에도 유용한 기반이라는 것이 인용의 요지다.

5. 운영 데이터베이스까지 확장한 Lakebase

Lakehouse가 기업이 분석하는 데이터를 통합한 뒤에도, 결제나 사용자 로그인처럼 일상적인 실시간 거래를 처리하는 운영 데이터베이스는 별도로 남아 있었다. 운영 데이터베이스와 Lakehouse는 취약한 파이프라인으로 연결됐고, 연산과 저장이 하나로 묶인 구조 및 독점적 데이터 형식은 이전 작업을 어렵게 만들었다. Databricks는 2025년 서버리스 Postgres 기업 Neon을 인수했으며, 글에 따르면 당시 Neon에서도 데이터베이스 대부분을 이미 AI 에이전트가 생성하고 있었다. Neon을 통합한 제품 Lakebase는 레이크 위에 웨어하우스를 재구성한 접근을 운영 데이터베이스에 적용해, 저장은 저렴하게 유지하고 연산은 수요에 따라 늘리거나 줄이도록 분리한다. 운영 데이터베이스와 Lakehouse가 같은 저장 기반을 공유하므로 변경 내용이 분석가·엔지니어·에이전트에게 자동으로 제공되며, Databricks는 거래와 분석의 이러한 통합을 LTAP, 즉 Lake Transaction/Analytical Processing이라고 부른다.

6. 빠른 데이터베이스 분기와 에이전트의 실험

저장과 연산의 분리는 데이터베이스를 코드처럼 다룰 수 있게 한다는 점에서 에이전트 활용과 연결된다. 글에 따르면 Lakebase는 변경분만 복사하는 방식으로 페타바이트 규모의 데이터베이스도 수초 안에 복제할 수 있어, 에이전트가 격리된 분기를 만들고 실험한 다음 폐기하는 작업을 지원한다. 저자들은 Databricks조차 이러한 활용의 중요성을 최근까지 충분히 인식하지 못했다고 설명하며, 지난해 출시된 Lakebase가 이미 연환산 매출 규모 1억 달러를 넘었고 에이전트가 가장 활발한 사용자라고 전한다. Databricks 전체에서도 3년 전에는 모든 상호작용에 사람이 개입했지만 이제는 에이전트의 쿼리가 사람보다 많고, 에이전트가 매일 생성하는 데이터베이스가 1,700만 개를 넘는다고 제시된다. Ali Ghodsi는 장기적으로 이 시장이 기존 데이터베이스 시장보다 더 커질 수 있다고 전망하지만, 이는 확정된 결과가 아니라 경영진의 예상으로 소개된다.

7. 에이전트가 늘어날 때 달라지는 기업과 사람의 역할

글은 소수의 엔지니어가 소프트웨어를 만들고 나머지 직원이 사용하는 기존 방식에서, 사람이 원하는 결과를 선언하면 소프트웨어가 달성 방법을 찾아가는 방식으로 이동하고 있다고 본다. 이에 따라 수천 명의 직원이 중앙 조직이 관리하는 소수 데이터베이스를 읽고 쓰던 구조는 수백만 에이전트가 수천 개 데이터베이스를 사용하는 구조로 바뀔 수 있다는 전망을 제시한다. 에이전트가 사람보다 1,000 대 1로 많아진다면 기업은 무엇이며 어떻게 차별화하고 가치를 만드는지라는 질문도 던지지만, 제공된 본문에는 그에 대한 완결된 답변이 없다. 사람의 장기적 역할 역시 모두가 소프트웨어 엔지니어가 되는 모습보다 모두가 관리자가 되는 모습에 가까울 수 있다고 제안한다. 이 전망은 현장 실무자가 주도권과 책임을 되찾는다는 앞선 주장과 연결되며, 기술이 가능하게 하는 변화가 실제 업무에 반영되려면 조직도 진화해야 한다는 조건을 유지한다.

8. AGI에 대한 주장과 제공된 본문의 한계

2026년 6월 Data + AI Summit에서 약 3만 명의 청중에게 AGI가 도래했는지 묻자, Ali Ghodsi가 집계한 손을 든 사람의 비율은 약 10%였다. 그는 AGI가 이미 도래했다고 주장하면서, 최신 최상위 모델이 Humanity’s Last Exam 문제의 절반 이상을 풀 수 있다는 점을 근거로 들었다. 글은 이 시험이 100개 이상의 분야에서 전문가들이 작성한 2,500개 문항으로 구성되며, AI가 답하기에는 너무 어렵다고 여겨졌다고 설명하지만, 시험 성과가 곧 AGI의 도래를 확정한다는 별도의 검증은 제시하지 않는다. 이어 2022년 ChatGPT가 사람이 약 30초에 처리할 코딩 작업을 수행하던 수준에서, 현재 최상위 에이전트는 숙련 엔지니어가 하루 종일 걸릴 코딩 작업을 완료하는 수준으로 발전했다고 서술한다. 다만 독립 평가 연구소 METR가 추적한 작업 길이를 소개하는 문장 중간에서 제공된 본문이 끝나므로, 해당 연구의 구체적 결과나 이후 논증은 이 자료만으로 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 글이 제시하는 변화의 연결고리는 데이터 처리 성능에서 시작해 분석과 운영의 통합, 에이전트의 실행 환경으로 이어진다. Databricks의 현재 위치를 이해하려면 개별 제품뿐 아니라 이전 기술이 다음 기술을 가능하게 한 과정을 볼 필요가 있다.
• Lakebase의 빠른 분기는 데이터베이스를 장기간 유지하는 저장소에 더해 필요할 때 생성하고 폐기하는 실험 공간으로 활용할 가능성을 보여준다. 에이전트의 데이터베이스 생성 규모는 이러한 사용 방식이 이미 나타나고 있다는 근거로 제시된다.
• 현장 직원의 자율성 확대와 AGI 도래는 같은 수준으로 확인된 결론이 아니다. 전자는 조직 진화를 조건으로 한 전망이며, 후자는 Ali Ghodsi의 주장으로 제시되고 제공된 본문의 후속 평가 근거도 완결돼 있지 않다.

✅ 액션 아이템

• 에이전트 기반 업무 자동화와 현장 직원의 주도권 확대를 검토할 때 기록·의사결정 체계와 조직 운영 방식의 제약을 함께 평가.
• Lakehouse의 분석 통합과 Lakebase의 운영 데이터 통합·빠른 분기가 에이전트의 실험과 실행에 주는 영향을 검토.
• Ali Ghodsi의 AGI 도래 주장과 최신 에이전트의 코딩 작업 수행 설명을 구분하고, METR 관련 근거는 제공된 본문의 중단으로 확인이 제한됨을 반영.

❓ 열린 질문

• 기록·의사결정 체계와 조직 운영 방식은 어떻게 바뀌어야 에이전트 기반 업무 자동화가 현장 직원의 주도권 확대로 이어질 수 있는가?
• 매일 1,700만 개를 넘는 에이전트의 데이터베이스 생성은 Lakebase의 빠른 분기 기능과 함께 사람의 작업 관리 역할을 어떻게 바꿀 수 있는가?
• Ali Ghodsi의 AGI 도래 주장과 관련해, 제공된 본문에서 중단된 METR 연구 소개에는 어떤 추가 근거가 이어지는가?