3D 生成是 AI 視覺(jué)領(lǐng)域的研究熱點(diǎn)之一。本文中，來(lái)自 Adobe 研究院和斯坦福大學(xué)等機(jī)構(gòu)的研究者利用基于 transformer 的 3D 大型重建模型來(lái)對(duì)多視圖擴(kuò)散進(jìn)行去噪，并提出了一種新穎的 3D 生成方法 DMV3D，實(shí)現(xiàn)了新的 SOTA 結(jié)果。

2D 擴(kuò)散模型極大地簡(jiǎn)化了圖像內(nèi)容的創(chuàng)作流程，2D 設(shè)計(jì)行業(yè)也因此發(fā)生了變革。近來(lái)，擴(kuò)散模型已擴(kuò)展到 3D 創(chuàng)作領(lǐng)域，減少了應(yīng)用程序（如 VR、AR、機(jī)器人技術(shù)和游戲等）中的人工成本。有許多研究已經(jīng)對(duì)使用預(yù)訓(xùn)練的 2D 擴(kuò)散模型，生成具有評(píng)分蒸餾采樣（SDS）損失的 NeRFs 方法進(jìn)行了探索。然而，基于 SDS 的方法通常需要花費(fèi)數(shù)小時(shí)來(lái)優(yōu)化資源，并且經(jīng)常引發(fā)圖形中的幾何問(wèn)題，比如多面 Janus 問(wèn)題。 另一方面，研究者對(duì)無(wú)需花費(fèi)大量時(shí)間優(yōu)化每個(gè)資源，也能夠?qū)崿F(xiàn)多樣化生成的 3D 擴(kuò)散模型也進(jìn)行了多種嘗試。這些方法通常需要獲取包含真實(shí)數(shù)據(jù)的 3D 模型 / 點(diǎn)云用于訓(xùn)練。然而，對(duì)于真實(shí)圖像來(lái)說(shuō)，這種訓(xùn)練數(shù)據(jù)難以獲得。由于目前的 3D 擴(kuò)散方法通?；趦呻A段訓(xùn)練，這導(dǎo)致在不分類、高度多樣化的 3D 數(shù)據(jù)集上存在一個(gè)模糊且難以去噪的潛在空間，使得高質(zhì)量渲染成為亟待解決的挑戰(zhàn)。

為了解決這個(gè)問(wèn)題，已經(jīng)有研究者提出了單階段模型，但這些模型大多數(shù)只針對(duì)特定的簡(jiǎn)單類別，泛化性較差。

因此，本文研究者的目標(biāo)是實(shí)現(xiàn)快速、逼真和通用的 3D 生成。為此，他們提出了 DMV3D。DMV3D 是一種全新的單階段的全類別擴(kuò)散模型，能直接根據(jù)模型文字或單張圖片的輸入，生成 3D NeRF。在單個(gè) A100 GPU 上，僅需 30 秒，DMV3D 就能生成各種高保真 3D 圖像。

具體來(lái)講，DMV3D 是一個(gè) 2D 多視圖圖像擴(kuò)散模型，它將 3D NeRF 重建和渲染集成到其降噪器中，以端到端的方式進(jìn)行訓(xùn)練，而無(wú)需直接 3D 監(jiān)督。這避免了單獨(dú)訓(xùn)練用于潛在空間擴(kuò)散的 3D NeRF 編碼器（如兩階段模型）和繁瑣的對(duì)每個(gè)對(duì)象進(jìn)行優(yōu)化的方法（如 SDS）中會(huì)出現(xiàn)的問(wèn)題。

本質(zhì)上，本文的方法是對(duì) 2D 多視圖擴(kuò)散的框架進(jìn)行 3D 重建。這種方法受到了 RenderDiffusion 的啟發(fā)，它是一種通過(guò)單視圖擴(kuò)散實(shí)現(xiàn) 3D 生成的方法。然而，RenderDiffusion 的局限性在于，訓(xùn)練數(shù)據(jù)需要特定類別的先驗(yàn)知識(shí)，數(shù)據(jù)中的對(duì)象也需要特定的角度或姿勢(shì)，因此泛化性很差，無(wú)法對(duì)任意類型的對(duì)象進(jìn)行 3D 生成。

相比之下，研究者認(rèn)為一組稀疏的包含一個(gè)對(duì)象的四個(gè)多視角的投影，足以描述一個(gè)沒(méi)有被遮擋的 3D 物體。這種訓(xùn)練數(shù)據(jù)的輸入源于人類的空間想象能力。他們可以根據(jù)幾個(gè)對(duì)象的周圍的平面視圖，想象出一個(gè)完整的 3D 物體。這種想象通常是非常確定和具像化的。

然而，利用這種輸入本質(zhì)上仍需解決稀疏視圖下 3D 重建的任務(wù)。這是一個(gè)長(zhǎng)期存在的問(wèn)題，即使在輸入沒(méi)有噪聲的情況下，也是一個(gè)非常具有挑戰(zhàn)性的問(wèn)題。

本文的方法能夠基于單個(gè)圖像 / 文本實(shí)現(xiàn) 3D 生成。對(duì)于圖像輸入，他們固定一個(gè)稀疏視圖作為無(wú)噪聲輸入，并對(duì)其他視圖進(jìn)行類似于 2D 圖像修復(fù)的降噪。為了實(shí)現(xiàn)基于文本的 3D 生成，研究者使用了在 2D 擴(kuò)散模型中通常會(huì)用到的、基于注意力的文本條件和不受類型限制的分類器。

他們只采用了圖像空間監(jiān)督，在 Objaverse 合成的圖像和 MVImgNet 真實(shí)捕獲的圖像組成的大型數(shù)據(jù)集上進(jìn)行了訓(xùn)練。從結(jié)果來(lái)看，DMV3D 在單圖像 3D 重建方面取得了 SOTA，超越了先前基于 SDS 的方法和 3D 擴(kuò)散模型。DMV3D 生成的基于文本的 3D 模型，也優(yōu)于此前的方法。

論文地址：https://arxiv.org/pdf/2311.09217.pdf

官網(wǎng)地址：https://justimyhxu.github.io/projects/dmv3d/

我們來(lái)看一下生成的 3D 圖像效果。

方法概覽 單階段 3D 擴(kuò)散模型是如何訓(xùn)練并推理的呢？ 研究者首先引入了一種新的擴(kuò)散框架，該框架使用基于重建的降噪器來(lái)對(duì)有噪聲的多視圖圖像去噪以進(jìn)行 3D 生成；其次他們提出了一種新的、以擴(kuò)散時(shí)間步為條件的、基于 LRM 的多視圖降噪器，從而通過(guò) 3D NeRF 重建和渲染來(lái)漸進(jìn)地對(duì)多視圖圖像進(jìn)行去噪；最后進(jìn)一步對(duì)模型進(jìn)行擴(kuò)散，支持文本和圖像調(diào)節(jié)，實(shí)現(xiàn)可控生成。

多視圖擴(kuò)散和去噪

多視圖擴(kuò)散。2D擴(kuò)散模型中處理的原始 x_0 分布在數(shù)據(jù)集中是單個(gè)圖像分布。相反，研究者考慮的是多視圖圖像

的聯(lián)合分布，其中每組

都是從視點(diǎn) C = {c_1, .. ., c_N} 中相同 3D 場(chǎng)景（資產(chǎn)）的圖像觀察結(jié)果。擴(kuò)散過(guò)程相當(dāng)于使用相同的噪聲調(diào)度獨(dú)立地對(duì)每個(gè)圖像進(jìn)行擴(kuò)散操作，如下公式(1) 所示。

基于重建的去噪。2D 擴(kuò)散過(guò)程的逆過(guò)程本質(zhì)上是去噪。本文中，研究者提出利用 3D 重建和渲染來(lái)實(shí)現(xiàn) 2D 多視圖圖像去噪，同時(shí)輸出干凈的、用于 3D 生成的 3D 模型。具體來(lái)講，他們使用 3D 重建模塊 E (?) 來(lái)從有噪聲的多視圖圖像

中重建 3D 表示 S，并使用可微渲染模塊 R (?) 對(duì)去噪圖像進(jìn)行渲染，如下公式 (2) 所示。

基于重建的多視圖降噪器

研究者基于 LRM 構(gòu)建了多視圖降噪器，并使用大型 transformer 模型從有噪聲的稀疏視圖姿態(tài)圖像中重建了一個(gè)干凈的三平面 NeRF，然后將重建后的三平面 NeRF 的渲染用作去噪輸出。

重建和渲染。如下圖 3 所示，研究者使用一個(gè) Vision Transformer（DINO）來(lái)將輸入圖像

轉(zhuǎn)化為 2D token，然后使用 transformer 將學(xué)得的三平面位置嵌入映射到最后的三平面，以表示資產(chǎn)的 3D 形狀和外觀。接下來(lái)將預(yù)測(cè)到的三平面用來(lái)通過(guò)一個(gè) MLP 來(lái)解碼體積密度和顏色，以進(jìn)行可微體積渲染。

時(shí)間調(diào)節(jié)。與基于 CNN 的 DDPM（去噪擴(kuò)散概率模型）相比，本文基于 transformer 的模型需要不同的時(shí)間調(diào)節(jié)設(shè)計(jì)。

相機(jī)調(diào)節(jié)。在具有高度多樣化的相機(jī)內(nèi)參和外參的數(shù)據(jù)集（如 MVImgNet）上訓(xùn)練本文的模型時(shí)，研究者表示需要對(duì)輸入相機(jī)調(diào)節(jié)進(jìn)行有效的設(shè)計(jì)，以促使模型理解相機(jī)并實(shí)現(xiàn) 3D 推理。

在單個(gè)圖像或文本上調(diào)節(jié)

以上方法使研究者提出的模型可以充當(dāng)一個(gè)無(wú)條件生成模型。他們介紹了如何利用條件降噪器

來(lái)對(duì)條件概率分布進(jìn)行建模，其中 y 表示文本或圖像，以實(shí)現(xiàn)可控 3D 生成。

圖像調(diào)節(jié)。研究者提出了一種簡(jiǎn)單但有效的圖像調(diào)節(jié)策略，其中不需要改變模型的架構(gòu)。

文本調(diào)節(jié)。為了將文本調(diào)節(jié)添加到自己的模型中，研究者采用了類似于 Stable Diffusion 的策略。他們使用 CLIP 文本編碼器生成文本嵌入，并使用交叉注意力將它們注入到降噪器中。

訓(xùn)練和推理

訓(xùn)練。在訓(xùn)練階段，研究者在范圍 [1, T] 內(nèi)均勻地采樣時(shí)間步 t，并根據(jù)余弦調(diào)度來(lái)添加噪聲。他們使用隨機(jī)相機(jī)姿態(tài)對(duì)輸入圖像進(jìn)行采樣，還隨機(jī)采樣額外的新視點(diǎn)來(lái)監(jiān)督渲染以獲得更好的質(zhì)量。

研究者使用條件信號(hào) y 來(lái)最小化以下訓(xùn)練目標(biāo)。

推理。在推理階段，研究者選擇了以圓圈均勻圍繞對(duì)象的視點(diǎn)，以確保很好地覆蓋生成的 3D 資產(chǎn)。他們將四個(gè)視圖的相機(jī)市場(chǎng)角固定為 50 度。

實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)環(huán)節(jié)，研究者使用了 AdamW 優(yōu)化器來(lái)訓(xùn)練自己的模型，其中初始學(xué)習(xí)率為 4e^-4。他們針對(duì)該學(xué)習(xí)率使用了 3K 步的預(yù)熱和余弦衰減，使用 256 × 256 輸入圖像來(lái)訓(xùn)練降噪器，對(duì) 128 × 128 的裁剪圖像進(jìn)行渲染以進(jìn)行監(jiān)督。

關(guān)于數(shù)據(jù)集，研究者的模型只需多視圖姿態(tài)圖像來(lái)訓(xùn)練，因而使用來(lái)自 Objaverse 數(shù)據(jù)集的約 730k 個(gè)對(duì)象的渲染后多視圖圖像。對(duì)于每個(gè)對(duì)象，他們按照 LRM 的設(shè)置，在對(duì)固定 50 度 FOV 的隨機(jī)視點(diǎn)均勻照明下，渲染了 32 張圖像。

首先是單圖像重建。研究者將自己的圖像 - 調(diào)節(jié)模型與 Point-E、Shap-E、Zero-1-to-3 和 Magic123 等以往方法在單圖像重建任務(wù)上進(jìn)行了比較。他們使用到的指標(biāo)有 PSNR、LPIPS、CLIP 相似性得分和 FID，以評(píng)估所有方法的新視圖渲染質(zhì)量。

下表 1 分別展示了 GSO 和 ABO 測(cè)試集上的定量結(jié)果。研究者的模型優(yōu)于所有基線方法，并在兩個(gè)數(shù)據(jù)集上實(shí)現(xiàn)所有指標(biāo)的新 SOTA。

圖 4 為定性結(jié)果，相比基線，本文模型生成的結(jié)果具有更高質(zhì)量的幾何和更清晰的外觀細(xì)節(jié)。

相比之下，DMV3D 是一個(gè)以 2D 圖像為訓(xùn)練目標(biāo)的單階段模型，無(wú)需對(duì)每個(gè)資產(chǎn)單獨(dú)優(yōu)化，在消除多視圖擴(kuò)散噪聲的同時(shí)，直接生成 3D NeRF 的模型?？偟膩?lái)說(shuō)，DMV3D 可以快速生成 3D 圖像，并獲得最優(yōu)的單圖像 3D 重建結(jié)果。

從文本到 3D。研究者還評(píng)估了 DMV3D 基于文本的 3D 生成結(jié)果。研究者將 DMV3D 和同樣能夠支持全類別的快速推理的 Shap-E 和 Point-E 進(jìn)行了比較。研究者讓三個(gè)模型根據(jù) Shap-E 的 50 個(gè)文本提示進(jìn)行生成，并使用了兩個(gè)不同的 ViT 模型的 CLIP 精度和平均精度來(lái)評(píng)估生成結(jié)果，如表 2 所示。

從表中可以看出，DMV3D 表現(xiàn)出了最佳的精度。圖 5 中是定性結(jié)果，相比于其他模型的生成結(jié)果，DMV3D 生成的圖形明顯包含更豐富的幾何和外觀細(xì)節(jié)，結(jié)果也更逼真。

其他結(jié)果

在視角方面，研究者在表 3 和圖 8 中顯示了用不同數(shù)量（1、2、4、6）的輸入視圖訓(xùn)練的模型的定量和定性比較。

在多實(shí)例生成方面，與其他擴(kuò)散模型類似，本文提出的模型可以根據(jù)隨機(jī)輸入生成多種示例，如圖 1 所示，展示了該模型生成結(jié)果的泛化性。

在應(yīng)用方面，DMV3D 具備廣泛的靈活性和通用性，在 3D 生成應(yīng)用領(lǐng)域具備較強(qiáng)的發(fā)展?jié)摿?。如圖 1 和圖 2 所示，本文方法能夠在圖像編輯應(yīng)用程序中通過(guò)分割（如 SAM）等方法將 2D 照片中的任意對(duì)象提升到 3D 的維度。

更多技術(shù)細(xì)節(jié)和實(shí)驗(yàn)結(jié)果請(qǐng)查閱原論文。