Gemini:
由人工智慧權威學者李飛飛(Fei-Fei Li)等人共同創立的 World Labs,核心目標是賦予人工智慧「空間智能(Spatial Intelligence)」。
用最白話的語言來說:過去幾年像是 ChatGPT 這種主流的 AI,主要是透過大量的「文字」或「2D平面的圖片、影片」來學習與思考;而 World Labs 做的事情,則是讓 AI 能夠真正理解、生成並與「3D 的立體世界」互動。
一、 核心任務與使命(Mission)
World Labs 的願景不只是讓 AI「看見」這個世界,而是要讓 AI 擁有如同人類與動物一般的空間觀念。其使命可以總結為以下幾個重點:
- 從像素(Pixels)到世界(Worlds): 讓 AI 不僅能生成一張張平面的圖片或短短的 2D 影片,還能建立具有前後邏輯、前後左右一致性且具備物理規律的立體 3D 環境。
- 讓 AI 具備空間推理能力: 讓 AI 能夠理解物件在 3D 空間中的相對位置、體積、碰撞與互動關係。這對未來的機器人、虛擬實境(VR)、擴增實境(AR)以及各類設計產業至關重要。
二、 他們在做什麼?(主要產品與技術)
World Labs 推出的旗艦產品名為 Marble(以及相關的生成式 3D 世界模型)。這個工具或技術平台的核心功能包括:
- 多模態輸入生成 3D 世界: 用戶可以透過簡單的「文字描述」、「圖片」、「影片」甚至「360 度全景圖」,讓系統自動生成一個高畫質、可持續存在且具備空間一致性的 3D 場景。
- 不只是影片,而是真實的「數據世界」: 傳統的 AI 影片工具產出的只是一段播放完就結束的畫面。但 Marble 生成的 3D 世界是以真實數據(如 3D 空間點雲/高斯濺射 Gaussian Splats、碰撞網格 Collider Meshes 等)建構的。這意味著使用者可以自由走進這個虛擬世界、從不同的視角觀看、甚至在裡面進行編輯與互動。
- 應用於機器人與實體模擬: 除了數位創作與娛樂,World Labs 也透過收購與技術整合(例如將生成的 3D 世界作為訓練場),讓機器人能夠在虛擬的 3D 模擬環境中學習如何感知和操作真實物理世界。
三、 參考資料與相關網址
Simon: 這是否意味著人工智慧將進入數位孿生世界進行學習?
Gemini:
是的,您的理解非常準確! 這正是李飛飛與 World Labs 正在推動的核心技術方向之一。