多層特征融合和并行自注意力的孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法

打開文本圖片集

摘要：目標(biāo)跟蹤是計(jì)算機(jī)視覺方向上的一項(xiàng)重要課題，其中尺度變化、形變和旋轉(zhuǎn)是目前跟蹤領(lǐng)域較難解決的問題。針對(duì)以上跟蹤中所面臨的具有挑戰(zhàn)性的問題，基于已有的孿生網(wǎng)絡(luò)算法提出多層特征融合和并行自注意力的孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法（MPSiamRPN）。首先，用修改后的ResNet50對(duì)模板圖片和搜索圖片進(jìn)行特征提取，為處理網(wǎng)絡(luò)過深而導(dǎo)致目標(biāo)部分特征丟失，提出多層特征融合模塊（multi-layer feature fusion module，MLFF）將ResNet后三層特征進(jìn)行融合；其次，引入并行自注意力模塊（parallel self-attention module，PSA），該模塊由通道自注意力和空間自注意力組成，通道自注意力可以選擇性地強(qiáng)調(diào)對(duì)跟蹤有益的通道特征，空間自注意力能學(xué)習(xí)目標(biāo)豐富的空間信息；最后，采用區(qū)域提議網(wǎng)絡(luò)（regional proposal network，RPN）來完成分類和回歸操作，從而確定目標(biāo)的位置和形狀。（剩余17178字）