局部-全局特征引導的圖文多級關系分析與挖掘方法

打開文本圖片集

摘 要：具有語義相關性的文本、圖像數(shù)據(jù)往往具有互補性，可以從不同角度增強語義理解，因此，圖文語義關系挖掘是圖文數(shù)據(jù)得以充分利用的關鍵。為解決圖文數(shù)據(jù)深層語義關系挖掘不充分、檢索階段預測不精準的問題，本文提出了一種局部-全局特征引導的多級關系分析與挖掘方法。采用多頭自注意力機制的Transformer建模圖像關系，構建圖像引導的文本注意力模塊，挖掘圖像區(qū)域和全局文本間的細粒度關系，融合局部-全局特征有效增強圖文數(shù)據(jù)的語義關系。（剩余15554字）