豐富的色彩來自奧菲斯| QbitAI的量子位報告，微信官方賬號

很多3D人體模型很厲害，但是“裸奔”總是不可避免的。

像打造一個真正的人類“頭像”模型，衣服和頭發(fā)缺一不可。

然而，這些元素的精確3D數(shù)據(jù)非常稀少且難以獲得。

三星AI中心(莫斯科)和其他團隊的技術人員一直致力于這項研究，最后他們開發(fā)了這樣一個模型:

生成的3D人物，穿著他們原來的衣服和發(fā)型，也毫無保留的呈現(xiàn)出來。

乍一看，“像個真人”。

更好的是，不用模特示范，模型可以“舉一反三”，擺出各種姿勢！

效果是這樣的:

模型名為StylePeople。

讓我們看看是怎么發(fā)生的！模型(神經(jīng)修整模型)

其實不僅僅是“裸奔”，很多3D人體還是“剛性”的:模特擺什么姿勢，模型就跟什么姿勢。

就像之前一樣，隱函數(shù)生成的三維人體模型可以高度還原模特的著裝和發(fā)型，但是人物的姿勢還是不夠靈活，只能從原模特的幾個特定視角生成。

贊美詩也是這個團隊的研究成果。

所以在為3D人體模型還原衣服的顏色、褶皺、發(fā)型的同時，還需要保證人物的姿勢能夠舉一反三。

因此，研究者采用多邊形實體網(wǎng)格建模和神經(jīng)紋理相結合的方法。

多邊形負責控制和建模人體的粗略幾何姿態(tài)，神經(jīng)渲染負責添加衣服和頭發(fā)。

首先，他們設計了一個神經(jīng)包扎模型模型，它結合了可變形網(wǎng)格建模和神經(jīng)渲染，如下圖所示。

左欄顯示了可視化的前三個PCA成分。

第二列和第三列是疊加在SMPL-X建模的人體網(wǎng)格上的“人體頭像”的紋理

列4和列5是通過光柵化渲染網(wǎng)絡渲染的結果。

能優(yōu)雅地處理寬松的衣服和長發(fā)以及復雜的穿衣結構！

接下來，基于上述神經(jīng)敷料模型，研究人員創(chuàng)造了一個可以生成“芬布迪”的3D人體模型。

最終一代架構是StyleGANv2和神經(jīng)敷料的結合。

在StyleGAN部分，神經(jīng)紋理由反向傳播算法生成，然后疊加在SMPL-X網(wǎng)格上，由神經(jīng)渲染器渲染。

在對抗性學習中，鑒別者將每一對圖像視為同一個人。提高從視頻和少量圖像生成3D人體模型的技術水平。

在對神經(jīng)包扎方法效果的驗證中，研究人員首先基于視頻資料對3D模型生成結果進行了評估。

如文章開頭的圖片所示，左邊是樣本源幀，其余圖片是左邊視頻人物的“頭像”。在簡單的增強現(xiàn)實程序背景下，呈現(xiàn)出模型之前從未擺過的各種姿勢。

接下來，基于小樣本圖像資料評估神經(jīng)包扎效果。

研究人員使用只有兩個人的人物快照數(shù)據(jù)集，將他們的神經(jīng)包扎方法與其他方法(如360度等)進行比較。，請參見表)。

衡量生成模型質量的指標有LPIPS(感知相似度)、SSIM(結構相似度)、FID(真實樣本與生成樣本在特征空間的距離)、IS(清晰度和多樣性評分)。

結果表明，該方法在各項指標上都有優(yōu)勢，

除了IS，影響不大，因為和視覺質量的相關性最小。

最后，團隊表示，他們的模型生成效果(如下圖)仍然受到當前樣本數(shù)據(jù)規(guī)模和質量的限制，未來的工作將致力于提高這種模型的數(shù)據(jù)利用率。

有興趣的同學可以隨時關注團隊的研究進展。

參考鏈接:

[1]https://arxiv . org/ABS/2104.08363

—結束—

量子qbitai頭條號簽約

關注我們，第一時間獲悉前沿科技動態(tài)。