免费久久国产&夜夜毛片&亚洲最大无码中文字幕&国产成人无码免费视频之奶水&吴家丽查理三级做爰&国产日本亚欧在线观看

2． 非自回歸解碼

最后介紹一下基于非自回歸的解碼方法，傳統的解碼方法是順序生成的。如果能夠使得解碼的時候并行的方式生成，這速度將會大大的提升。

傳統的非自回歸模型的做法是，在Transformer Encoder端頭部加一個Fertility預測，用來預測每個源端Token能翻譯成一個目標端的Token，然后根據預測的結果，將源端的Token拷貝到Decoder的輸入，如果一個源端Token能夠翻譯兩個目標Token，那就拷貝兩次，如果源端Token不會翻譯成目標端Token，那就不拷貝。由于每一步輸出的譯文是沒有給到下一步的，所以是可以并行的。對于Fertility的訓練是采用某種對齊模型，通過計算源端和目標端的對齊關系，然后就可以得到源端和目標端的對齊結果，就可以采用監督的方式來訓練Fertility分支。

該方法有一個問題，就是在翻譯當前步的時候沒有考慮上一步的翻譯信息。這樣就可能導致翻譯結果的流暢度不夠好。我們的方法就是在該方法的基礎上添加了序列上的信息。這樣模型既能并行執行，又能考慮的到前后的序列關系。

我們的工作分為兩個方面，一個是在訓練上添加序列信息，一個是在模型上面同樣也添加序列信息。序列訓練采用的是Reinforce的方法，Reinforce的方法非常難以訓練，這是因為其方差非常大，方差大的原因是強化學習episode（一條軌跡從開始到結束）的搜索空間非常大，我們每次只是采樣出一個episode，然后根據這個episode進行計算，通過大數定律，我們可以假設這最終得到的是一個梯度的無偏估計。但是在實際情況下，抖動是非常大的。

將Reinforce算法應用到我們這個場景，首先看第一個公式，由于目標端詞的概率是獨立的，所以就可以寫成連乘的形式，第二個公式就是傳統的Reinforce公式，就是翻譯的reward。是通過前向后向算法計算出來的當前步的reward。

上面的slides介紹的是計算reward時候的不同，接下來看sampling機制的區別。根據生成前后詞的獨立性，每一步我們并不是采樣出一個詞，而是采樣出K＋1個詞。這樣的話就可以看做我們一次更新的過程中考慮到更多的episode，而不是僅用一個episode就去訓練了。具體的做法是，每一步，我們先取Top－K，計算一下損失函數的值，然后從剩下的Token中再采樣出來一個。我們將這兩部分的loss合起來，是為了保證無偏估計。為前k個翻譯的概率的和。

另外一個方法就是模型上的改進，在非自回歸層的上面加上自回歸層。具體的做法是，模型分為 Bottom Layer，Fusion Layer，Top Layer。Bottom Layer就是之前介紹的非自回歸模型，Fusion Layer的作用是將非自回歸模型的輸出和其Embedding整合起來，Top－Layer和Transformer 的解碼器基本一致。

實驗結果：AR（Transformer），NAT（非自回歸的方法），IRNAT（迭代的非自回歸方法），最后是我們提出的方法，第一種是在訓練的過程中引入序列信息，第二是在模型上進行改進。作為對比的數據集有三個，前兩個數據集比較小。主要關注第三個數據集�？梢钥闯�，使用NAT來代替AR模型的話，效果會降6個點左右，迭代的方法會帶來1到2個點的提升。我們提出的reinforce方法和傳統的reinforce方法相比，有0．6個點的提升。加上回歸層的模型已經接近Transformer的效果了。關于速度的提升，如果僅訓練的時候采用序列信息，速度可以提升10倍。如果是NAT加上自回歸層的方法，速度也可以提高4倍左右。

這里有一些翻譯實例，可以看出 NAT－base的方法流暢性不夠好，重復很多“more more …”，因為沒有考慮序列信息，所以導致結果的流暢度不行。使用我們提出的reinforce方法，能夠一定程度上的緩解流暢度的問題，但是問題還是存在。通過使用NAT＋AR的方法，能夠更好的緩解流暢度的問題。