MIT使用AI從2D視頻創(chuàng)建3D打印的“運(yùn)動雕塑”

對運(yùn)動的理解是所有生物物種的基礎(chǔ)，無論它是在計(jì)算投球的角度，還是看到捕食者和獵物的運(yùn)動。 但簡單的視頻實(shí)際上無法給我們?nèi)娴牧私狻?由于用于研究運(yùn)動的傳統(tǒng)視頻和照片是二維的，因此它們不向我們展示感興趣的人或主題的潛在3D結(jié)構(gòu)。

現(xiàn)在麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室，谷歌研究所和加州大學(xué)伯克利分校的研究人員已經(jīng)提出了一種人工智能（AI）系統(tǒng)來展示人體如何運(yùn)動。

該系統(tǒng)被稱為MoSculp，它使用的算法可以拍攝2D視頻并將其轉(zhuǎn)換為3D打印的“運(yùn)動雕塑”。 它可以為職業(yè)運(yùn)動員，舞者或任何想要提高身體技能的人提供更詳細(xì)的運(yùn)動研究。

“想象一下，你有一個(gè)關(guān)于羅杰費(fèi)德勒在網(wǎng)球比賽中投球的視頻，以及一個(gè)自己學(xué)習(xí)網(wǎng)球的視頻，”博士生張秀明說。 “然后你可以建立兩種情景的動作雕塑來比較它們，并更全面地研究你需要改進(jìn)的地方?！?br />

以下是它在實(shí)踐中的工作原理：將視頻加載到系統(tǒng)后，MoSculp將檢測到的關(guān)鍵點(diǎn)覆蓋在輸入幀上，并通過幾個(gè)隨機(jī)選擇的幀確認(rèn)它們。 （內(nèi)置的校正工具可以讓用戶在必要時(shí)進(jìn)行調(diào)整。）在校正“暫時(shí)不一致的檢測”后，它會生成運(yùn)動雕塑并將其加載到自定義界面中。

這是一個(gè)多步驟過程，所有MoSculp需求都是視頻序列。 以下是它的工作原理：將視頻加載到系統(tǒng)后，MoSculp會首先自動檢測拍攝對象身體上的2D關(guān)鍵點(diǎn)，例如芭蕾舞女演員的髖關(guān)節(jié)，膝關(guān)節(jié)和踝關(guān)節(jié)，同時(shí)進(jìn)行復(fù)雜的舞蹈序列。 然后，它將這些點(diǎn)的最佳姿勢轉(zhuǎn)化為3D“骨架”。

將這些骨架拼接在一起后，系統(tǒng)會生成一個(gè)可以3D打印的運(yùn)動雕塑，顯示主體追蹤的平滑，連續(xù)的運(yùn)動路徑。用戶可以在雕塑周圍導(dǎo)航并定制他們的圖形以聚焦于不同的身體部位，分配不同的材料以區(qū)分部件，甚至自定義照明，然后使用3D打印機(jī)進(jìn)行打印。

在試驗(yàn)期間，研究人員發(fā)現(xiàn)超過75％的受試者認(rèn)為MoSculp提供了比標(biāo)準(zhǔn)攝影技術(shù)更詳細(xì)的運(yùn)動學(xué)習(xí)可視化。

該系統(tǒng)最適合較大的動作，例如在舞蹈序列中投球或進(jìn)行一次飛躍。它也適用于可能阻礙或復(fù)雜運(yùn)動的情況，例如穿著寬松衣服或攜帶物品的人。

目前，MoSculp僅使用單一主題視頻，但該團(tuán)隊(duì)希望擴(kuò)展到多個(gè)人。在未來，他們相信它可以用于研究諸如社交障礙，人際交往和團(tuán)隊(duì)動態(tài)之類的事情。

第一作者張秀明帶著團(tuán)隊(duì)的一部“動感雕塑”

“舞蹈和高技能運(yùn)動通?？雌饋硐?移動雕塑'，但它們只會形成稍縱即逝的短暫形狀，”Adobe傳播負(fù)責(zé)人Courtney Brigham說。 “這項(xiàng)工作展示了如何采取動作并將其轉(zhuǎn)化為具有客觀運(yùn)動可視化的真實(shí)雕塑，為運(yùn)動員提供了一種分析他們的訓(xùn)練動作的方式，不需要比移動攝像機(jī)更多的設(shè)備和一些計(jì)算時(shí)間。”

該團(tuán)隊(duì)將于下個(gè)月在德國柏林的用戶界面軟件和技術(shù)（UIST）會議上展示他們的論文（“MoSculp：形狀和時(shí)間的交互式可視化”）。


編譯自：3ders