基于視覺-語言特征編碼的跨模態(tài)融合視覺問答方法

打開文本圖片集

摘要：現(xiàn)有的視覺問答方法采用相同編碼器編碼視覺-語言特征，忽略了視覺-語言模態(tài)之間的差異，從而在編碼視覺特征時(shí)引入與問題無關(guān)的視覺干擾特征，導(dǎo)致對關(guān)鍵視覺特征關(guān)注不足。提出一種基于視覺-語言特征編碼的跨模態(tài)融合視覺問答方法：采用一種動(dòng)態(tài)注意力編碼視覺特征以實(shí)現(xiàn)根據(jù)問題動(dòng)態(tài)調(diào)整視覺特征的注意力范圍；設(shè)計(jì)了一種具有雙門控機(jī)制的引導(dǎo)注意力以過濾多模態(tài)融合過程帶入的干擾信息，提升多模態(tài)特征融合的質(zhì)量，并增強(qiáng)多模態(tài)特征的表征能力。（剩余17162字）