英偉達(dá)推AI 3D建模系統(tǒng)，將2D圖像分割成可編輯3D模型

南極熊導(dǎo)讀：AI在3D打印領(lǐng)域的應(yīng)用已經(jīng)悄然而至，特別是以Tripo、Meshy、騰訊混元3D等為帶來的AI 3D大模型，已經(jīng)在深刻變革3D打印模型的創(chuàng)作模式，極大降低建模門檻。但我們不能忽視GPU廠商英偉達(dá)，也一直在發(fā)力3D模型相關(guān)的技術(shù)，一旦成熟，則可能更具顛覆性。

△零件級(jí)別的 3D 對(duì)象。圖片來自 NVIDIA

2025年7月2日，南極熊獲悉，GPU 制造商N(yùn)VIDIA推出了 PartPacker，這是一款基于 AI 的系統(tǒng)，旨在從單個(gè) 2D 圖像生成可編輯的 3D 模型。與生成統(tǒng)一網(wǎng)格的傳統(tǒng)方法不同，PartPacker 創(chuàng)建基于零件的模型，允許單獨(dú)編輯或制作各個(gè)組件的動(dòng)畫，從而提高靈活性。

PartPacker系統(tǒng)旨在通過促進(jìn)資產(chǎn)創(chuàng)建和實(shí)現(xiàn)更詳細(xì)的定制，支持 3D 打印、動(dòng)畫、游戲和學(xué)術(shù)研究等各個(gè)領(lǐng)域的工作流程。PartPacker 背后的研究是與北京大學(xué)和斯坦福大學(xué)合作開發(fā)的。

PartPacker 概述和功能

PartPacker 利用擴(kuò)散變換器 (Diffusion Transformer) 架構(gòu)中的雙體積打包技術(shù)，從單個(gè) 2DRGB 圖像生成高度精細(xì)的 3D 對(duì)象。這種方法將部件排列成相互連接的體積，每個(gè)體積都可以獨(dú)立編輯或動(dòng)畫，從而提高靈活性。系統(tǒng)的網(wǎng)絡(luò)集成了 VAE 和整流流模型，模型可根據(jù)輸入圖像優(yōu)化潛碼。與傳統(tǒng)方法不同，PartPacker同時(shí)生成兩個(gè)潛碼，而非僅生成一個(gè)，從而提升了細(xì)節(jié)和控制力。

△雙卷包裝。圖片來自 NVIDIA。

PartPacker 以 GLB格式輸出 3D 三角形網(wǎng)格，分辨率高達(dá) 512³，并針對(duì) NVIDIA GPU 加速進(jìn)行了優(yōu)化。此功能有助于創(chuàng)建適用于游戲、電影和交互式媒體的高質(zhì)量 3D 資產(chǎn)。此外，它還支持導(dǎo)出為 STL 和 3MF 等流行的 3D 打印格式，從而實(shí)現(xiàn)多材料打印工作流程。

優(yōu)勢(shì)和可用性

傳統(tǒng)的 3D 生成方法通常會(huì)生成單片網(wǎng)格，從而限制對(duì)單個(gè)部件的修改。PartPacker 通過生成模塊化、可編輯的組件解決了這一限制，提供了一種靈活的替代方案，使需要可定制 3D 資產(chǎn)的行業(yè)受益。這項(xiàng)技術(shù)使創(chuàng)作者和研究人員能夠從單個(gè)圖像生成可編輯的基于部件的3D 模型，從而實(shí)現(xiàn)了以前具有挑戰(zhàn)性或無法實(shí)現(xiàn)的工作流程。

研究人員和開發(fā)人員可以通過 GitHub 代碼庫訪問 PartPacker，代碼庫提供了網(wǎng)格轉(zhuǎn)換所需的源代碼和數(shù)據(jù)處理腳本。此外，HuggingFace 上托管的現(xiàn)場(chǎng)演示允許用戶上傳圖像并立即生成可編輯的 3D 模型。此外，預(yù)先訓(xùn)練的 VAE 和 Flow 模型也可供下載，以支持從圖像進(jìn)行網(wǎng)格重建和 3D 生成。

△零件級(jí) 3D 對(duì)象比較表。圖片來自 NVIDIA。

人工智能驅(qū)動(dòng)的 3D 模型工具

2024年，總部位于深圳的3D打印機(jī)制造商Bambu Lab發(fā)布了全新的AI驅(qū)動(dòng)3D模型生成器PrintMon Maker。這款平臺(tái)可通過MakerWorld獲取，用戶可以使用文本或圖像提示創(chuàng)建可3D打印的角色。生成的設(shè)計(jì)可以直接導(dǎo)入Bambu Lab的切片軟件，并在3D打印機(jī)上打印，無需手動(dòng)調(diào)整。此外，平臺(tái)還支持為眼睛和底座等組件創(chuàng)建單獨(dú)的文件，從而為3D打印工作流程提供更大的靈活性和定制化。

去年，為了響應(yīng)谷歌的DreamFusion產(chǎn)品以及Physna Inc.的 3D 模型和場(chǎng)景生成式 AI 原型，Nvidia 創(chuàng)建了Magic3D文本轉(zhuǎn) 3D 模型工具。一篇研究論文概述了Nvidia 的 AI 平臺(tái)采用兩階段方法，首先創(chuàng)建一個(gè)粗略的低分辨率模型，然后將其優(yōu)化到更高分辨率。Magic3D 還可以進(jìn)行基于提示的 3D 網(wǎng)格編輯。上傳基本提示和低分辨率 3D 模型后，即可修改文本以更改生成的模型。