Agent 每天開 1,700 萬個資料庫，企業的資料記錄系統要為 AI 重新設計了，來認識Databricks 這間年營收 70 億美元、成長 80%的公司和公司未來管理型態的可能改變。 a16z這篇長文中，Ben Horowitz 認為，未來二十年會改變的事情裡，「你每天上班在做什麼」這個問題絕對排得進前五名。他指出有兩個重大突破正要發生。
第一個是 agentic automation，也就是「描述一件我們現在在做的事，然後把它自動化」。
第二個是讓員工有能力主動出擊，最靠近問題的人可以自己調查、自己採取行動，不用等資訊和授權一層一層穿過組織階層。
作者說這兩件事都會讓每個人的工作變得更好，前提是組織真的有辦法演化成這種新的工作方式。**一個人每天的工作內容，有很大一部分被雇主使用的「system of record（記錄系統）與決策方式」綁住，而這套系統本身又被背後的資料庫技術綁住。**很少人會想到這一層。
這就是 Databricks 登場的地方。作者形容，除了熟悉它的圈內人之外，Databricks 可能是矽谷最被低估的故事，即使它的年化營收已經超過 70 億美元，年成長 80%。大多數人聽過這家公司，但說不太出它到底在做什麼，頂多知道它是一家資料公司，對 agent 很重要，卻不確定為什麼。 作者說 Databricks 的故事是一連串很戲劇性的事件，也是一個產品剛好在對的時機成熟的例子。
三年前，Databricks 上的每一次操作背後都有人類。現在，這家公司收到的查詢裡來自 agent 的已經比來自人類的多，每天有超過 1,700 萬個資料庫是由 agent 建立的，而且這個趨勢還會持續。
整篇文章分成四個部分。
第一，Databricks 到底在做什麼？看板上常看到的「Lakehouse」和「Lakebase」是什麼，為什麼它們是剛好及時出現的架構突破？
第二，什麼是「system of record」，如果 agent 要在真實的公司裡做真實的決策、貢獻公司的知識庫，為什麼需要一種新的記錄系統？
第三，**「企業」本身到底是什麼？**如果 agent 和人的比例變成 1000 比 1，企業會怎麼改變，又要怎麼建立差異化、創造價值？
第四，**在這個新世界裡，人每天的工作是什麼？**AI 進入職場的承諾常被包裝成「一般人現在也有軟體工程師的能力」，但長期來看，影響可能不是「人人都是工程師」，而比較接近「人人都是主管」。
作者認為最後這一點可能是賭注最大的部分。**現在正即時發生一場「大拆解」，拆掉的是打造二十世紀的那套管理風格，也就是 James Burnham 在經典著作《The Managerial Revolution》裡記錄的模式。**八十五年前，Burnham 描述資訊技術和組織複雜度如何催生出一種企業運作模式，由一小群專業經理人集中掌握公司內部的決策權。如今靠著新一波技術，第一線的專業工作者重新拿回了責任，作者認為大家都會因此過得更好。 作者說，這就是 Databricks，也是它將推動企業未來的原因。
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ ▍ 從 Spark 到 Agents Databricks 最近常被形容成「一家剛好搭上 AI 浪潮的資料公司」。但作者指出，這家公司是由 AI 研究者在這波浪潮來臨的十年前就創立的。它的業務是將近二十年來疊在一起的四條技術 S 曲線：Spark、Lakehouse、Lakebase，以及現在的 agents，每一條都替下一條打開了創新的窗口。要真正看懂這一連串的解鎖過程，得先花點時間談資料庫技術。 2009 年，Ali Ghodsi 在 UC Berkeley 當訪問研究員，看著網路公司用龐大的資料集預測使用者會點什麼、買什麼、看什麼。那是大家很愛講「Big Data」的年代。當時主流的框架是 Hadoop，Yahoo、Facebook、Twitter、LinkedIn 這些公司都用它，把資料運算工作平行分散到成千上萬台便宜的通用伺服器上。在 Hadoop 之前，處理大型工作量的標準做法是向 Oracle 或 IBM 這類廠商買一台更大的機器，每台要價數百萬美元，所以 Hadoop 是很有吸引力的替代方案。 Hadoop 的致命缺陷在於，每一輪運算都要先把結果存到硬碟上，下一輪才能開始。這樣做的好處是，叢集裡某台便宜機器壞掉時，工作比較容易復原，是很合理的設計。**但對機器學習這種反覆迭代的工作來說，它慢得讓人痛苦。**機器學習的流程是先做預測、量測誤差、更新模型，然後再重複一次。Hadoop 把每一輪都當成一個新工作，每次都從硬碟重新載入同樣的資料，結果叢集每花幾秒鐘改善模型，就要花好幾分鐘在搬資料。 **這個問題激發了 Berkeley 的博士生 Matei Zaharia 寫出第一版 Apache Spark。**Spark 延續了 Hadoop 把資料處理分散到便宜機器上的創新，但讓應用程式可以把常重複使用的資料留在伺服器速度快很多的記憶體裡，不用每一輪都從硬碟載入，同時又沒有犧牲容錯能力。這讓這類重複性工作快了最多十倍。實驗室在 2010 年把 Spark 開源，三年後 Ali、Matei 和另外五位研究夥伴共同創辦了 Databricks，目標是把運行 Spark 所需的分散式基礎設施複雜度，包括叢集、擴展和資安，全部包裝進一個給企業用的單一平台。 Spark 加快了資料處理的速度，但資料「住在哪裡」是另一個問題。那個年代的企業資料分成兩個世界。**Data warehouse（資料倉儲）**存放結構化、可信任的紀錄，讓分析師可以用 SQL 查詢，所有的 dashboard 和季報都靠它。**Data lake（資料湖）**則是便宜的儲存空間，用來放其他所有東西，像是文件、圖片、錄音和 log。**因為 data lake 很便宜，團隊什麼都往裡面丟，但資料進去時沒有任何檢查或結構化。**雖然 TensorFlow、PyTorch 這類 AI 開源工具圍繞著 data lake 長出了龐大的生態系，但要從一堆無法信任的資料裡挖出價值很難，所以 data lake 被戲稱為「data swamp（資料沼澤）」。 兩套系統各自解決了一個問題，卻製造了一道鴻溝。工程師和資料科學家住在湖裡用 Python，分析師住在倉庫裡用 SQL。只要一邊需要另一邊的資料，就得有人建一條 pipeline 把資料搬過去。結果公司裡充滿各種複本、pipeline、權限設定，以及互相衝突的定義。 **到了 2010 年代後期，Databricks、Uber 和 Netflix 各自獨立找到了同一個解法。**他們的專案 Delta Lake、Hudi 和 Iceberg，在 data lake 的檔案上加了一層 table layer，讓這些檔案擁有類似資料倉儲的保證，像是要嘛全部成功、要嘛全部不做的更新機制、schema 管理，以及有版本紀錄的歷史。**企業不必再為了可靠性和效能把資料搬到另一個倉儲，可以直接在資料原本存放的地方跑倉儲等級的工作。**這個突破讓一種新架構成為可能。 2020 年，Databricks 把 data lake 和 data warehouse 合併，發明了「lakehouse」。它結合了 data lake 便宜、彈性的儲存，以及 data warehouse 嚴格的可靠性和快速的查詢效能，再讓倉儲等級的 SQL 和機器學習在同一個基礎上都成為一等公民。原本什麼都往裡丟的便宜儲存，變得值得信任，終於成為工程師、資料科學家和資料分析師可以共用的資料基礎。當時的標語是「最好的 data warehouse 就是 lakehouse」，客戶看起來也同意。如今 Databricks 的 Lakehouse 年化營收超過 15 億美元，年成長超過 100%。 Amazon 技術長 Werner Vogels 在 2020 年 1 月的一篇部落格文章裡，從客戶的角度說明了這件事。他寫道，如果你想在傳統資料倉儲裡整合所有資料而不用 data lake，就需要大量的資料準備，以及匯出、轉換、載入（ETL）的工作，你得在要捨棄什麼之間做取捨，還要不斷修改一個僵化系統的結構。**Data lake 讓你可以匯入任何格式的資料，省掉這些取捨。**Vogels 也寫到，data lake 對機器學習和 AI 來說是很強大的基礎，因為它們「在大量、多元的資料集上才會茁壯」。 還剩下一道鴻溝。**Lakehouse 統一了企業用來分析的資料，卻沒有統一應用程式運作時用的資料。**Operational database（營運資料庫）負責處理日常營運的即時交易，像是付款或使用者登入，它和 lakehouse 之間仍然靠一張脆弱的 pipeline 網路串在一起。運算和儲存還是綁在同一個龐大的單體裡，資料被鎖在專有格式中，讓資料庫遷移成為任何組織裡最讓人害怕的技術專案之一。 所以在 2025 年，Databricks 收購了 Neon。這是一家 serverless Postgres 公司，它的資料庫當時就已經大多是由 AI agent 建立的，而且代表一種新的資料庫架構類別，叫做 lakebase，Databricks 也因此把整合 Neon 之後的產品命名為「Lakebase」。就像 lakehouse 是把倉儲重建在 data lake 之上，Lakebase 把同樣的概念套用到營運資料庫。它把儲存和運算分開，資料可以便宜地存在 data lake 裡，運算則依需求放大或縮小。而且因為營運資料庫和 lakehouse 共用同一層底層儲存，資料庫的變動會自動提供給分析師、工程師和 agent 使用，不需要建立和維護一整張 pipeline 網路。Databricks 把這種交易與分析的統一稱為 LTAP，也就是 Lake Transaction/Analytical Processing。
這種分離讓資料庫的行為更像程式碼。因為 Lakebase 只複製有變動的部分，即使是 PB 等級的資料庫也能在幾秒內複製一份。這讓 agent 可以建立一個隔離的分支，在上面做實驗，做完就丟掉，作者說連 Databricks 自己也是最近才完全意識到這一點的重要性。Lakebase 去年才推出，年化營收就已經突破 1 億美元，而 agent 是它最活躍的使用者。Ali 說：「我們認為長期來看，這可能會是一個比現有資料庫市場更大的市場。」 作者認為這個技術突破來得正是時候。幾十年來，公司裡的軟體都是由一小群工程師打造，再給其他所有人使用。作者說，現在正走向一個新世界：人只要說出想要的結果，軟體就會自己想辦法達成。過去是成千上萬名員工讀寫少數幾個由中央團隊管理的資料庫，未來公司會有成千上萬個資料庫，由數百萬個 agent 來讀寫。
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ ▍ 給 Agent 用的記錄系統 今年 6 月，Ali 在 Databricks 的 Data + AI Summit 上，面對大約 3 萬名觀眾，請認為通用人工智慧（AGI）已經到來的人舉手。他數了一下，大概只有一成。 他告訴台下：「我們相信 AGI 已經到來。」他指出，現在的前沿模型已經能解出 Humanity's Last Exam 一半以上的題目。這份考題有 2,500 題，由一百多個領域的專家出題，原本被認為難到任何 AI 都答不出來。 ChatGPT 在 2022 年問世時，能處理的程式任務大約是一個人花 30 秒能做完的量。現在的前沿 agent 能完成一位資深工程師要花一整個工作天的程式任務。獨立評測機構 METR 的研究人員追蹤了 2019 年以來各個模型能獨立完成的任務長度，發現大約每七個月就翻倍一次。最近的進展甚至更快，程式以外的領域也有類似的趨勢。如果這個趨勢延續到 2030 年代初期，agent 將能完成人類要花好幾年才做得完的任務。 然而在今天大多數公司裡，AI 依然不被信任去可靠地更新 Salesforce 裡的紀錄。 Ali 說：「AI 沒有智力問題，它有的是 context 問題。」**就算是最聰明的人，如果拿不到公司的資料、沒有行動的權限、得不到回饋，也接觸不到其他員工腦中的知識，幾乎也是毫無用處。**Ali 給的答案，是他所說的「system of record for agents（給 agent 用的記錄系統）」。
你可能看過 Palantir 執行長 Alex Karp 談 ontology 的片段。他主張：「市場上所有的價值都會流向晶片，以及我們所謂的 ontology。」「Ontology 讓你可以拿一個 LLM 來用、來調整，再把它套用到你的企業上。」至於這在實務上到底是什麼意思，通常就留給聽眾自己去想了。 作者說，**每家公司都有一套 ontology，也就是一個運作中的模型，描述有哪些東西存在、這些東西彼此怎麼關聯、公司用語代表什麼意思，以及兩個來源衝突時以哪個為準。它有一部分存在資料庫、dashboard、政策和文件裡，但更多部分只存在資深員工的腦袋裡。而且它永遠不會完成。 合約會變，臨時的變通做法會變成流程，例外會變成規則，官方紀錄和實際做事的方式會越離越遠。**誰能決定什麼、哪些決策事後證明是對的，也是一樣的情況，權責和評估跟 ontology 一樣都沒有被寫下來。人們幾乎是無形地在彌補這一切。業務副總的工作，就是要知道最大那筆已承諾的案子卡住了，因為對方內部的支持者正在偷偷面試別家公司；要知道某位業務說的「90%」其實只有 50%，然後在預測數字送到執行長面前之前先把它砍下來。 要讓 agent 自主行動，現在存在人腦中的 ontology、權責和評估，有很大一部分必須搬進企業的記錄系統。Databricks 賭的是 lakehouse 就是這些東西的天然歸宿，因為公司其他的資料都存放在那裡、在那裡被治理。Ali 說：「lakehouse 現在已經成為記錄系統了。我把它叫做 SORA，System of Record for Agents。」 員工可以透過 Genie 和這套記錄系統互動。Genie 是 Databricks 在 2024 年推出的自然語言介面，讓公司裡任何人都能對資料提問，而且越來越能在上面打造 agent。