基于跨模態(tài)注意力融合的煤炭異物檢測方法

打開文本圖片集

摘要：為解決原煤智能化洗選過程中煤流中夾雜的異物對比度低、相互遮擋導(dǎo)致異物圖像檢測時特征提取不充分的問題，提出了一種基于跨模態(tài)注意力融合的煤炭異物檢測方法。通過引入Depth圖像構(gòu)建RGB圖像與Depth圖像的雙特征金字塔網(wǎng)絡(luò)（DFPN），采用淺層的特征提取策略提取Depth圖像的低級特征，用深度邊緣與深度紋理等基礎(chǔ)特征輔助RGB圖像深層特征，以有效獲得2種特征的互補(bǔ)信息，從而豐富異物特征的空間與邊緣信息，提高檢測精度；構(gòu)建了基于坐標(biāo)注意力與改進(jìn)空間注意力的跨模態(tài)注意力融合模塊（CAFM），以協(xié)同優(yōu)化并融合RGB特征與Depth特征，增強(qiáng)網(wǎng)絡(luò)對特征圖中被遮擋異物可見部分的關(guān)注度，提高被遮擋異物檢測精度；使用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）輸出煤炭異物的分類、回歸與分割結(jié)果。（剩余15577字）