基于分?jǐn)?shù)階高斯噪聲的BERT 情感文本分類研究

打開(kāi)文本圖片集

摘要： 由于BERT 模型龐大的參數(shù)量和在預(yù)訓(xùn)練階段的過(guò)擬合問(wèn)題，本文針對(duì)性地提出了基于分?jǐn)?shù)階高斯噪聲（fGn）的即插即用模塊FGnTune. 該模塊利用fGn 引入隨機(jī)性，用于提高BERT 預(yù)訓(xùn)練模型在情感文本分類任務(wù)中的性能. fGn 是具有長(zhǎng)程依賴和非平穩(wěn)性的隨機(jī)信號(hào)，通過(guò)在BERT 微調(diào)階段（剩余9203字）