NeRF的基本概念及工作原理

    神經(jīng)輻射場(chǎng) (NeRF) 是一個(gè)完全連接的神經(jīng)網(wǎng)絡(luò)，可以基于部分 2D 圖像集生成復(fù)雜 3D 場(chǎng)景的新視圖。它被訓(xùn)練使用渲染損失來重現(xiàn)場(chǎng)景的輸入視圖。它的工作原理是獲取代表場(chǎng)景的輸入圖像并在它們之間進(jìn)行插值以渲染一個(gè)完整的場(chǎng)景。NeRF 是一種為合成數(shù)據(jù)生成圖像的高效方法。

訓(xùn)練 NeRF 網(wǎng)絡(luò)直接從觀察方向和空間位置（5D 輸入）映射到不透明度和顏色（4D 輸出），使用體積渲染來渲染新視圖。 NeRF 是一種計(jì)算密集型算法，處理復(fù)雜場(chǎng)景可能需要數(shù)小時(shí)或數(shù)天。但是，可以使用新的算法來顯著提高性能。

NeRF 和神經(jīng)渲染的基本概念

    為了理解 NeRF 的工作原理，讓我們介紹一些基本概念。

    Rendering：渲染是從 3D 模型創(chuàng)建圖像的過程。該模型將包含紋理、陰影、陰影、照明和視點(diǎn)等特征，而渲染引擎的作用是處理這些特征以創(chuàng)建逼真的圖像。三種常見的渲染算法是（1）光柵化，它根據(jù)模型中的信息以幾何方式投影對(duì)象，沒有光學(xué)效果；（2）光線投射，它使用反射的基本光學(xué)定律從特定角度計(jì)算圖像；（3）和光線追蹤，它使用蒙特卡洛技術(shù)在更短的時(shí)間內(nèi)獲得逼真的圖像。光線追蹤用于提高 NVIDIA GPU 的渲染性能。

    Volume Rendering：體積渲染使您能夠創(chuàng)建 3D 離散采樣數(shù)據(jù)集的 2D 投影。對(duì)于給定的攝像機(jī)位置，體繪制算法為空間中的每個(gè)體素獲取 RGBα（紅色、綠色、藍(lán)色和 Alpha 通道），來自攝像機(jī)的光線通過這些體素投射。 RGBα 顏色轉(zhuǎn)換為 RGB 顏色并記錄在 2D 圖像的相應(yīng)像素中。對(duì)每個(gè)像素重復(fù)該過程，直到渲染整個(gè) 2D 圖像。

    ViewSyntheis：視圖合成與體渲染相反——它涉及從一系列 2D 圖像創(chuàng)建 3D 視圖。這可以使用一系列從多個(gè)角度顯示對(duì)象的照片來完成，創(chuàng)建對(duì)象的半球平面圖，并將每個(gè)圖像放置在對(duì)象周圍的適當(dāng)位置。視圖合成函數(shù)嘗試在給定描述對(duì)象不同視角的一系列圖像的情況下預(yù)測(cè)深度。

NeRF如何工作

    NeRF 使用一組稀疏的輸入視圖來優(yōu)化連續(xù)的體積場(chǎng)景函數(shù)。這種優(yōu)化的結(jié)果是能夠產(chǎn)生復(fù)雜場(chǎng)景的新視圖。您可以為 NeRF 提供輸入作為一組靜態(tài)圖像。連續(xù)場(chǎng)景是具有以下特征的 5D 矢量值函數(shù)：

    它的輸入是 3D 位置 x = (x; y; z) 和 2D 觀察方向 (θ; Φ)

    它的輸出是顏色 c = (r; g; b) 和體積密度 (α)。

    以下是從特定角度生成 NeRF 的方法：

    生成一組采樣的 3D 點(diǎn) — 通過使相機(jī)光線穿過場(chǎng)景。

    通過將具有相應(yīng) 2D 觀察方向的采樣點(diǎn)輸入到神經(jīng)網(wǎng)絡(luò)中，生成一組密度和顏色的輸出。

    通過使用經(jīng)典的體積渲染技術(shù)，將密度和顏色累積到 2D 圖像中。