特征挖掘與區(qū)域增強(qiáng)的弱監(jiān)督時序動作定位

打開文本圖片集

摘 要：弱監(jiān)督時序動作定位旨在定位視頻中行為實(shí)例的起止邊界及識別相應(yīng)的行為。現(xiàn)有方法盡管取得了很大進(jìn)展，但依然存在動作定位不完整及短動作的漏檢問題。為此，提出了特征挖掘與區(qū)域增強(qiáng)（FMRE）的定位方法。首先，通過基礎(chǔ)分支計(jì)算視頻片段之間的相似分?jǐn)?shù)，并以此分?jǐn)?shù)聚合上下文信息，得到更具有區(qū)別性的段分類分?jǐn)?shù)，實(shí)現(xiàn)動作的完整定位；然后，添加增強(qiáng)分支，對基礎(chǔ)分支定位中持續(xù)時間較短的動作提案沿時間維度進(jìn)行動態(tài)上采樣，進(jìn)而采用多頭自注意機(jī)制對動作提案間的時間結(jié)構(gòu)顯式建模，促進(jìn)具有時間依賴關(guān)系的動作定位且防止短動作的漏檢；最后，在兩個分支之間構(gòu)建偽標(biāo)簽互監(jiān)督，逐步改進(jìn)在訓(xùn)練過程中生成動作提案的質(zhì)量。（剩余12042字）