什么是文本摘要？為什么要有注意力機制？
建立Tokenizer
通過分詞器生成詞匯表，并將單詞文本序列轉(zhuǎn)為數(shù)值序列，方便計算機計算。
模型建立
我們可以選擇是否讓LSTM在每個時間步都會生成隱藏狀態(tài)h和記憶單元狀態(tài)c。
選擇LSTM是否僅生成最后一個時間步的隱藏狀態(tài)h和記憶單元狀態(tài)c。
選擇LSTM相互堆疊提高模型效果。
選擇雙向LSTM，可以雙向處理文本數(shù)據(jù)，獲取更加豐富的上下文信息。
使用beam search strategy代替貪婪方法argmax。
根據(jù)BLEU分數(shù)評估模型的性能。
可以選擇指針生成網(wǎng)絡(luò)，
因為整數(shù)序列采用獨熱編碼的方式，所以損失函數(shù)采用了稀疏交叉熵，對內(nèi)存友好。
數(shù)學理解注意力機制
編碼器為源文本序列每一個時間步j(luò)都生成了一個隱藏狀態(tài)值hj。
相似的工作，解碼器為目標文本每一個時間步i都生成了隱藏狀態(tài)值si。
alignment score： 。用這個分數(shù)表示源文本中的第j步單詞與目標文本中第i步單詞的關(guān)聯(lián)度。可以用hj與si來計算這個分數(shù)值 根據(jù)所使用的得分函數(shù)的類型，有不同類型的注意力機制。這里列舉一些流行的注意力機制：
使用softmax函數(shù)對注意力參數(shù)的值進行歸一化。
計算注意力權(quán)重與編碼器hj的隱藏狀態(tài)乘積的線性總和，以產(chǎn)生注意力上下文向量Ci。
將注意力上一下文向量Ci與目標隱藏層向量si級聯(lián)以產(chǎn)生新的注意力隱藏層向量Si。
將注意力隱藏層向量傳入密集層產(chǎn)生yi。
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-5.20立即下載>> 【限時免費】物理場仿真助力生物醫(yī)學領(lǐng)域技術(shù)創(chuàng)新
-
精彩回顧立即查看>> 【直播】 智測未來·2026海克斯康春季產(chǎn)品創(chuàng)新日
-
精彩回顧立即查看>> 【線下論壇】新唐科技×芯唐南京 2026 年度研討會
-
精彩回顧立即查看>> OFweek 2026（第十五屆）中國機器人產(chǎn)業(yè)大會
-
精彩回顧立即查看>> 維科杯· OFweek 2025中國機器人行業(yè)年度評選
-
精彩回顧立即查看>> 【在線會議】液冷服務(wù)器信號完整性及冷卻液關(guān)鍵電參數(shù)測試
推薦專題
- 1 AI狂歡遇上油價破百，全球股市還能漲多久？ | 產(chǎn)聯(lián)看全球
- 2 OpenAI深夜王炸！ChatGPT Images 2.0實測：中文穩(wěn)、細節(jié)炸，設(shè)計師慌了
- 3 6000億美元估值錨定：字節(jié)跳動的“去單一化”突圍與估值重構(gòu)
- 4 Tesla AI5芯片最新進展總結(jié)
- 5 連夜測了一波DeepSeek-V4，我發(fā)現(xiàn)它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”：既生OpenClaw，何生Hermes？
- 7 AI界的殺豬盤：9秒刪庫跑路，全員被封號，還繼續(xù)扣錢！
- 8 2026，人形機器人只贏了面子
- 9 DeepSeek降價90%：價格屠夫不是身份，是戰(zhàn)略
- 10 AI Infra產(chǎn)業(yè)鏈卡在哪里了？
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)（光器件） 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市
