CMHICL: 基于跨模態(tài)分層交互網(wǎng)絡(luò)和對比學(xué)習(xí)的多模態(tài)諷刺檢測

打開文本圖片集

摘 要：

多模態(tài)諷刺檢測的關(guān)鍵在于有效地對齊和融合不同模態(tài)的特征。然而，現(xiàn)有融合方法通常忽略多模態(tài)間組成結(jié)構(gòu)的關(guān)系，并且在識(shí)別諷刺時(shí)也經(jīng)常忽略了多模態(tài)數(shù)據(jù)中與諷刺情感相關(guān)的共同特征的重要性。因此，提出一種基于跨模態(tài)分層交互網(wǎng)絡(luò)和對比學(xué)習(xí)的模型。首先，跨模態(tài)分層交互網(wǎng)絡(luò)采用了基于交叉注意力機(jī)制的最小單元對齊模塊和基于圖注意力網(wǎng)絡(luò)的組成結(jié)構(gòu)融合模塊，從不同層面上識(shí)別文本和圖像之間的不一致性，將低一致性的樣本判定為含諷刺意味的樣本。（剩余20267字）