剛剛，李飛飛在社交平臺上宣布，她的 AI 公司 World Labs 正式推出世界模型 Marble，11 月 12 日起向所有人開放。
兩個月前，World Labs 分享了 Marble 的預覽版 ，這是一個能夠根據圖像或文本提示創建 3D 世界的世界模型。Marble 已向部分早期測試用戶開放，讓他們可以自行創建 3D 世界。
今天，World Labs 正式向所有人開放 Marble，這是一款首創的生成式多模態世界模型。
同時，Marble 的功能也大幅擴展，其中包括：
多模態 Marble：能夠利用文本、圖像、視頻或粗略的 3D 布局創建 3D 世界；Marble 還允許用戶交互式地編輯、擴展和組合這些世界。生成的 3D 世界可以導出為高斯斑點、網格或視頻。
Marble Labs：藝術家、工程師和設計師們將展示創意、真實的工作流程以及游戲、視覺特效、設計、機器人等領域的全新可能性。Marble Labs 還提供深入的案例研究、教程和文檔，為所有人提供學習、構建和分享他們自己的 3D 世界所需的工具。
Marble 世界模型
研究人員表示，世界模型應具有高度多模態性，能夠將任何可用的輸入信號提升到一個完整的三維世界中，并且能夠隨著新信息的出現而迭代更新其對世界的理解。
Marble 可以讓用戶根據簡單的圖像或文本提示快速創建完整的 3D 世界，也可以交互式地編輯 2D 和 3D 世界，將腦海中的世界構想變為現實。
Marble 可以根據單張圖片或簡短的文字提示創建完整的 3D 世界，生成各種場景類型和藝術風格的世界。圖像提示功能也讓 Marble 與其他 AI 工具的結合變得輕松便捷。
想要輕松創建更具創意控制力的世界，多圖像提示是一種簡單有效的方法。與文字或單圖提示不同，在文字或單圖提示中，Marble 必須自行想象提示中未提及的世界部分，而使用多圖提示，您可以控制生成的世界從不同角度呈現的樣貌。
Marble 還內置了 AI 原生世界編輯工具。編輯可以很小很局部：移除一個物體，修飾一個區域。也可以很徹底：交換物體，改變視覺風格，或者重構世界的大片區域。
AI 工具 Chisel
World Labs 還推出了 Chisel ，這是一款 AI 原生工具，可以直接在 3D 中雕刻大理石世界。
Chisel 是一種面向高級用戶的全新實驗性編輯模式，用于創建 3D 世界。用戶可以使用粗略的 3D 形狀來布局 3D 世界的粗略結構，或者將現有的 3D 資源導入到場景中。
后續還可以添加文本提示來描述場景的視覺風格，或者添加粗略布局中未包含的其他元素。
Chisel 將結構與風格分離。粗略的 3D 場景決定了世界的結構，而文本提示則控制了其整體風格。兩者可以任意組合，為世界生成增添了全新的控制維度。
構建廣闊世界
世界生成后，Marble 允許一步式擴展，使其更大。用戶可以選擇要擴展的世界區域，Marble 將創建更多內容來填充所選區域。
原本破碎成碎片的世界區域，在擴展后會變得清晰完整。擴展還可以用來為世界的特定區域添加細節。
使用 Marble 創建世界后，還可以選擇多種方式將其導出。
高斯粒子是模擬大理石世界最高精度的渲染方式。用戶可以使用 World Labs 與 THREE.js 集成的開源跨平臺渲染器 Spark，在瀏覽器中渲染高斯粒子。
Marble 世界也可以導出為兩種三角形網格：碰撞器網格和高質量網格。將世界導出為網格后，它們可以與許多行業標準工具兼容。
Marble 還可以增強導出的視頻，增加細節、去除瑕疵，并為場景添加動態元素，同時保持像素級精準的相機控制，并符合生成的 3D 世界的結構。
World Labs 的相關人員表示，Marble 只是邁向空間智能征程中的一步。展望未來，交互性將是一個關鍵機遇。未來的世界模型將使人類和智能體能夠以全新的方式與生成的世界進行互動，從而在模擬、機器人等領域解鎖更多應用場景。
參考資料：
https://www.worldlabs.ai/blog/marble-world-model
分享
