基于多任務(wù)學(xué)習(xí)CNN輔助Transformer的手部mesh重建

打開文本圖片集

收稿日期：2022-04-03；修回日期：2022-05-20  基金項目：國家自然科學(xué)基金資助項目（61673276，61603255）

作者簡介：謝蘇（1998-），男，江西鷹潭人，碩士研究生，主要研究方向為手勢姿態(tài)估計、人體姿態(tài)估計；張孫杰（1988-），男（通信作者），上海人，副教授，碩導(dǎo)，博士，主要研究方向為非線性控制、圖像處理（[email protected]）；王永雄（1970-），男，上海人，教授，博導(dǎo)，博士，主要研究方向為智能機器人與機器視覺；顏婷麗（1998-），女，吉林長春人，碩士研究生，主要研究方向為非線性復(fù)雜系統(tǒng)．

摘 要：針對當(dāng)前手勢姿態(tài)估計算法未充分利用2D信息輔助3D手部mesh重建的問題，首次在手部Mask、2D熱力圖的基礎(chǔ)上提出引入RGB圖像的HOG特征圖，通過多任務(wù)學(xué)習(xí)CNN的框架對2D信息進行特征提取，并針對手的拓?fù)浣Y(jié)構(gòu)進行信息融合增強。（剩余20374字）