MeshGPT優(yōu)化AI驅(qū)動3D模型，可避免細(xì)節(jié)丟失和過度三角化以及提高精度和效率

2023年12月5日，南極熊獲悉，慕尼黑工業(yè)大學(xué)（TUM）和都靈理工大學(xué)的研究人員與奧迪公司聯(lián)手開發(fā)了MeshGPT，這是一款采用生成式AI的3D網(wǎng)格生成軟件，它極大簡化了生成3D模型的過程。

△通過對比，該團隊采用AI生成的3D模型在建模細(xì)節(jié)和清晰度上具有優(yōu)勢（右下）

該研究創(chuàng)新性地運用僅包含解碼器的變壓器來創(chuàng)造更為清晰、更為連貫的三角形網(wǎng)格，形狀覆蓋率顯著提升了9%，F(xiàn)ID分?jǐn)?shù)（用于評估計算機生成圖像質(zhì)量的指標(biāo)）提高了30分，相較于現(xiàn)有方法，這代表著更為鋒利的邊緣、更高的真實感和更緊湊的設(shè)計，并且確立了新的質(zhì)量標(biāo)準(zhǔn)。

△該研究的詳細(xì)論文可在這里查閱，題目為“MeshGPT:用解碼器轉(zhuǎn)換器生成三角網(wǎng)格”（傳送門）

MeshGPT通過從Transformer模型中進行自回歸采樣，從已學(xué)習(xí)的幾何詞匯中生成標(biāo)記，然后將這些標(biāo)記解碼為三角形網(wǎng)格的面。MeshGPT的表現(xiàn)反映了藝術(shù)家創(chuàng)造的網(wǎng)格常見的緊湊特性，與通過等曲面方法從神經(jīng)場提取的密集三角形網(wǎng)格形成了鮮明對比。受到大型語言模型最新進展的啟發(fā)，研究人員采用了基于序列的方法，以自回歸方式生成三角形網(wǎng)格序列。

△TUM和都靈理工大學(xué)的研究人員與奧迪公司合作進行的一項研究結(jié)果

第一步是使用圖卷積學(xué)習(xí)潛在量化嵌入的詞匯。這將為我們提供有關(guān)局部網(wǎng)格幾何和拓?fù)浣Y(jié)構(gòu)的嵌入信息。術(shù)語“量化嵌入”指的是一種在自然語言處理（NLP）和機器學(xué)習(xí)中廣泛使用的技術(shù)，它以離散的形式表示和存儲詞嵌入或連續(xù)值向量。

△生成模型在跨各種語言生成文本方面表現(xiàn)出了良好的能力

這些嵌入經(jīng)過解碼器的排序和解碼，最終被呈現(xiàn)為三角形形狀，確保它們能夠有效地還原原始網(wǎng)格。接下來，通過使用學(xué)到的詞匯訓(xùn)練變壓器模型，以預(yù)測下一個嵌入的索引，從而進一步優(yōu)化模型。通過訓(xùn)練，該模型能夠執(zhí)行自回歸采樣，生成新的三角形網(wǎng)格，直接產(chǎn)生具有銳利邊緣和高效三角測量模式的緊湊網(wǎng)格，更接近于人工網(wǎng)格的表現(xiàn)。

該團隊進一步表示，MeshGPT相對于最先進的網(wǎng)格生成方法顯示出顯著改進，形狀覆蓋率提高了9%，各個類別的FID分?jǐn)?shù)提高了30分。與現(xiàn)有方法相比，MeshGPT能夠避免錯過細(xì)節(jié)導(dǎo)致過度三角化的網(wǎng)格，同時避免輸出過于簡化的形狀。另外，該技術(shù)不僅適用于單一物體的3D模型生成，還可以擴展應(yīng)用到生成整個場景所需的3D資源，包括多個物體的模型。。