91影院在线播放,国产妓女牲交a毛片,国产精品久久亚洲不卡,三年在线观看免费大全四年级

免费久久国产&夜夜毛片&亚洲最大无码中文字幕&国产成人无码免费视频之奶水&吴家丽查理三级做爰&国产日本亚欧在线观看

OpenAI提出Image GPT實現高質量圖像補全和樣本生成

2020-07-17 10:13

將門創投

關注

模型直接生成的樣本也具有明顯的個體特征，包含著可以被清晰識別的目標個體，這說明模型的確理解了圖像中所包含的空間信息和不同目標的特征。

從語言跨界圖像的GPT

在語言領域，像GPT－2和BERT等依賴于詞預測的非監督學習算法非常成功，在多個語言相關任務上取得了最好的表現。其中一個重要的原因在于下游任務（數據）是以自然的文本方式呈現的：答案往往伴隨著問題（問答任務），文章往往伴隨著總結（文本摘要任務）。而像素序列針對其所屬的圖像卻沒有非常明顯的標簽。

即使沒有這種隱式的監督，GPT－2在圖像任務上成功的原因也不難發現：一個足夠大的transformer模型，用于訓練針對下一個像素的預測，最終能夠學會生成豐富的可以清晰辨認的目標樣本。

當模型可以有效合成圖像時，研究人員開始思考是不是可以通過“基于合成的分析”來嘗試利用模型識別目標的分類。先前很多生成模型都受到了這一觀點的啟發，最近的BigBiGAN就是一個典型的例子，可以產生非常有效的樣本和特征。在這一研究中，研究人員首先展示了更好的生成模型可以實現更強的分類表現，隨后通過對GPT－2生成能力的優化，在很多情況下實現了最為優異的分類表現，為基于合成的分析思想提供了更多的佐證。

邁向通用非監督學習

生成序列模型可以被視為一種通用的非監督學習算法：由于所有的數據類型都可以被標示為字節序列，無需額外的改動，transformer可以被直接應用于任何類型的數據形式上。為了驗證這種算法的通用性，研究人員將原先用于自然語言處理的GPT－2的架構直接應用于圖像生成任務上，故意放棄了對圖像先驗知識的手動編碼（包括卷積、相關注意力、稀疏注意力、2D位置嵌入等等）。

但隨之而來的是，如果要實現具有競爭力的非監督學習性能，就需要更多的計算量來保證。基于對比的方法在從圖像生成高質量特征的過程中的確具有更高的計算效率，然而在與最好的無監督算法比較過程中，基于對領域知識的手工編碼和計算需求間可以找到有效的平衡。在沒有領域知識的全新領域，大規模的計算也許是解決問題值得一試的有效手段。