一種基于語音、文本和表情的多模態(tài)情感識別算法

打開文本圖片集

摘要 針對當(dāng)前多模態(tài)情感識別算法在模態(tài)特征提取、模態(tài)間信息融合等方面存在識別準(zhǔn)確率偏低、泛化能力較差的問題，提出了一種基于語音、文本和表情的多模態(tài)情感識別算法。首先，設(shè)計(jì)了一種淺層特征提取網(wǎng)絡(luò)（Sfen）和并行卷積模塊（Pconv）提取語音和文本中的情感特征，通過改進(jìn)的Inception-ResnetV2模型提取視頻序列中的表情情感特征;其次，為強(qiáng)化模態(tài)間的關(guān)聯(lián)性，設(shè)計(jì)了一種用于優(yōu)化語音和文本特征融合的交叉注意力模塊;最后，利用基于注意力的雙向長短期記憶（BiLSTM based on attention mechanism，BiLSTM-Attention）模塊關(guān)注重點(diǎn)信息，保持模態(tài)信息之間的時(shí)序相關(guān)性。（剩余19994字）