亚洲成色777777女色窝,777亚洲妇女,色吧亚洲日本,亚洲少妇视频

一種基于BERT的自動(dòng)文本摘要模型構(gòu)建方法

摘要:針對(duì)傳統(tǒng)詞向量在自動(dòng)文本摘要過(guò)程中因無(wú)法對(duì)多義詞進(jìn)行有效表征而降低文本摘要準(zhǔn)確度和可讀性的問題,提出一種基于BERT(Bidirectional Encoder Representations from Transformers)的自動(dòng)文本摘要模型構(gòu)建方法。該方法引入BERT預(yù)訓(xùn)練語(yǔ)言模型用于增強(qiáng)詞向量的語(yǔ)義表示,將生成的詞向量輸入Seq2Seq模型中進(jìn)行訓(xùn)練并形成自動(dòng)文本摘要模型,實(shí)現(xiàn)對(duì)文本摘要的快速生成。實(shí)驗(yàn)結(jié)果表明,該模型在Gigaword數(shù)據(jù)集上能有效地提高生成摘要的準(zhǔn)確率和可讀性,可用于文本摘要自動(dòng)生成任務(wù)。

關(guān)鍵詞:
  • 文本摘要  
  • bert模型  
  • 注意力機(jī)制  
作者:
岳一峰; 黃蔚; 任祥輝
單位:
華北計(jì)算技術(shù)研究所; 北京100083
刊名:
計(jì)算機(jī)與現(xiàn)代化

注:因版權(quán)方要求,不能公開全文,如需全文,請(qǐng)咨詢雜志社

計(jì)算機(jī)與現(xiàn)代化雜志緊跟學(xué)術(shù)前沿,緊貼讀者,國(guó)內(nèi)刊號(hào)為:36-1137/TP。堅(jiān)持指導(dǎo)性與實(shí)用性相結(jié)合的原則,創(chuàng)辦于1985年,雜志在全國(guó)同類期刊中發(fā)行數(shù)量名列前茅。