基于BERT-LSTM模型的航天文本分類研究

打開文本圖片集

摘 要：由于現(xiàn)有其他模型存在無法提取文本重點部分權重等問題，導致了模型分類不準確，難以適應航天文本分類工作中繁重的工作環(huán)境。因此，在融合BERT預訓練模型和LSTM神經(jīng)網(wǎng)絡模型基礎上，結合多特征嵌入和多網(wǎng)絡融合方法構建BERT-LSTM模型，使用BERT模型將輸入的文本轉換為詞向量，然后將文本序列的詞向量拼接成矩陣，之后采用不同尺寸的卷積核進行卷積操作，將得到的最大特征組成特征向量集合，再輸入到Bi-LSTM層進行序列建模，并采用自注意力來捕捉全局信息中的關鍵信息，進一步提高關鍵特征在文本分類中的權重。（剩余17224字）