基于預訓練模型融合深層特征詞向量的中文文本分類

打開文本圖片集

摘要：為解決傳統(tǒng)模型表示出的詞向量存在序列、上下文、語法、語義以及深層次的信息表示不明的情況，提出一種基于預訓練模型（ Roberta）融合深層特征詞向量的深度神經(jīng)網(wǎng)絡模型，處理中文文本分類的問題。通過Roberta模型生成含有上下文語義、語法信息的句子向量和含有句子結構特征的詞向量，使用DPCNN模型和改進門控模型（RGRU）對詞向量進行特征提取和融合，得到含有深層結構和局部信息的特征詞向量，將句子向量與特征詞向量融合在一起得到新向量。（剩余12676字）