基于多尺度特征增強與對齊的跨模態(tài)行人檢索

打開文本圖片集

摘  要： 為了解決跨模態(tài)行人檢索從圖像和文本中抽取有效的細(xì)節(jié)特征，以及實現(xiàn)圖像與自然語言文本跨模態(tài)對齊的問題，提出一種基于多尺度特征增強與對齊的跨模態(tài)行人檢索模型。該模型引入多模態(tài)預(yù)訓(xùn)練模型，并構(gòu)建文本引導(dǎo)的圖像掩碼建模輔助任務(wù)，充分實現(xiàn)跨模態(tài)交互，從而無需顯式地標(biāo)注信息即可增強模型學(xué)習(xí)圖像局部細(xì)節(jié)特征的能力。（剩余12874字）