免费久久国产&夜夜毛片&亚洲最大无码中文字幕&国产成人无码免费视频之奶水&吴家丽查理三级做爰&国产日本亚欧在线观看

現代計算機圖形學在合成逼真場景圖像和場景操控合成方面取得了杰出成果，然而在自動生成形狀、材質、光照和其他場景方面還面臨著一系列挑戰。而計算機視覺與機器學習為這一領域提供了圖像合成與編輯的全新解決方案：基于深度生成模型和圖形學領域的光學物理知識，神經渲染（Neural rendering ）已成為計算機圖形學領域最為迅猛的發展方向。在多種計算理論、方法和技術的融合下，這個新領域出現了非常多的有趣應用：包括圖像內容編輯、場景合成、視角變化、人物編輯等等。可以預見，神經渲染未來將會在電影工業、虛擬／增強現實和智慧城市等領域中發揮越來越重要的作用。

來自馬普研究所、斯坦福、慕尼黑理工、Facebook、Adobe和谷歌的研究人員對這一領域的發展進行了詳盡的綜述，系統性地梳理神經渲染在各個領域的發展。下面我們將為大家詳細呈現機器學習、計算機視覺與圖像學領域的碰撞融合。

語義圖像合成與操控

語義圖像合成與操控主要利用交互式的編輯工具來對圖像中的場景和物體進行語義上地控制和修飾。與傳統方式不同，數據驅動的圖形學系統可以利用多張圖像區域來合成新的圖像，并基于大規模的圖像數據集來抽取典型的語義特征。這種方法可以使用戶指定場景的結構、修改場景內容，同時還能有效處理合成過程中產生的不連續性和人工痕跡。

在語義圖像合成方面，目前主要基于條件生成目標，將用戶指定的語義圖映射為逼真的圖像。用戶輸入還包括了顏色、草圖、紋理等形式。從pix2pix等方法開始，研究人員們就開始對場景和圖像的生成進行深入的探索，并不斷提高生成圖像的分辨率與細節，同時從靜態圖像向動態視頻的語義操控擴展。下圖顯示了目前較為先進的GauGAN網絡生成的結果：其不僅可以生成較好的視覺效果，還能控制生成結果的風格和語義結構。

在語義圖像操控方面，該技術需要用戶提供待操作的圖像，并利用生成模型滿足用戶對圖像的操作需求。與前述的合成不同，操作面臨兩個額外挑戰：其一，對圖像的操作需要對輸入進行精確的重建，但這對于目前最為先進的GAN來說也是挑戰；其二，操作圖像后合成的結果也許會與輸入的圖像不兼容、不協調。

于是為解決這些問題，研究人員們提出了非條件GAN來作為神經圖像先驗，同時通過生成結果與原始圖像的融合來得到輸出結果。此外，包括自動編碼器等多種內部結果的使用和后處理的有效應用也使得圖像編輯取得了良好的效果。下圖顯示了GANPaint中如何給圖像增加、刪除、改變目標：只需用筆刷進行涂抹，生成模型就會滿足用戶提出的需求，同時保留原圖像中的統計信息。

在提升渲染圖像的真實性方面，研究人員從大規模的真實數據中抽取相似的內容來提升渲染圖像的結果，或者基于條件生成模型，將低質量的渲染結果轉換為高質量的逼真圖像。此外，包括特征匹配，陰影處理、材質和表面法向量渲染等方面的工作也將對全局光照、遮擋、景深和連續性進行處理。下圖顯示了基于生成模型的高質量渲染結果：僅僅改變視頻中說話人的嘴形，就渲染出了近乎真實講話的視覺效果。

目標和場景的新視角合成

新視角合成是指在特定場景下，利用已有的不同視角圖像，在新相機視角條件下合成圖像。其最主要挑戰來自于場景的三維結構觀測比較稀疏，需要在僅有的幾個觀測視角下合成出新視角的圖像，同時還需要補全新視角下被遮擋或者沒有在觀測中被包含的部分。

在經典計算機視覺中，人們主要基于多視角立體視覺來實現場景幾何重建，用反射變換來構建基于圖像的渲染效果。但在稀疏觀測或者欠觀測的情況下，這種方法得到的結果會具有孔洞，或是留下較為明顯的人工鑿斧痕跡。在神經渲染中，研究人員使用少量的已有視角觀測結果來學習出場景，再利用可差分的渲染器生成新視角下的圖像；同時還利用幾何、外觀與場景特性作為先驗來提升場景的表達和渲染；此外還通過體素、紋理、點云等多種形式來為網絡提供更多的圖像和幾何信息。

下圖顯示了神經渲染從大規模網絡圖像中重建3D模型的結果。模型被渲染為了深度、顏色和語義標簽等緩存中，渲染器將這些緩存轉換為了多種不同的場景結果。

下圖展示了從新視角渲染招財貓的圖像結果。由圖可見，在僅僅六個稀疏采樣視角下，系統就實現了多個新視角的目標渲染。

神經渲染在學習場景中自然的三維結果和透視幾何關系方面也發揮了重要作用，下圖顯示了幾個具有代表性的新視角合成工作：