聲明
第1章引言
1.1研究背景及意義
1.2國(guó)內(nèi)外研究現(xiàn)狀
1.3論文主要工作和貢獻(xiàn)
1.4組織結(jié)構(gòu)
1.5本章小結(jié)
第2章相關(guān)理論與技術(shù)
2.1深度學(xué)習(xí)相關(guān)知識(shí)
2.1.1感知機(jī)及神經(jīng)網(wǎng)絡(luò)
2.1.2深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化
2.2基于深度學(xué)習(xí)的文本表示
2.2.1詞嵌入技術(shù)
2.2.2幾種典型的序列表示模型
2.3預(yù)訓(xùn)練和微調(diào)
2.4本章小結(jié)
第3章BERT文本表示模型
3.1多頭自注意力機(jī)制
3.2 Transformer翻譯模型
3.3 BERT模型詳解
3.3.1 BERT的輸入處理
3.3.2 BERT的預(yù)訓(xùn)練
3.3.3 BERT的微調(diào)
3.4 BERT討論
第4章基于BERT改進(jìn)的文本表示模型
4.1相對(duì)位置嵌入
4.2獨(dú)立雙向多頭自注意力機(jī)制
4.3層級(jí)密集連接網(wǎng)絡(luò)
4.4新的預(yù)訓(xùn)練任務(wù):亂序判斷
4.5本章小結(jié)
第5章預(yù)訓(xùn)練實(shí)驗(yàn)對(duì)比分析
5.1模型細(xì)節(jié)
5.2數(shù)據(jù)預(yù)處理
5.3預(yù)訓(xùn)練實(shí)驗(yàn)對(duì)比分析
遮蔽詞預(yù)測(cè)
下一句判斷
亂序判斷
5.4本章小結(jié)
第6章微調(diào)實(shí)驗(yàn)對(duì)比分析
6.1文檔分類
6.2句子對(duì)分類
6.3閱讀理解
6.4序列標(biāo)注
6.5本章小結(jié)
第7章總結(jié)與展望
7.1總結(jié)
7.2展望
參考文獻(xiàn)
致謝
攻讀碩士期間發(fā)表的論文及科研工作
西南大學(xué);