基于語義一致性約束與局部-全局感知的多模態(tài)3D視覺定位

打開文本圖片集

摘 要：3D多模態(tài)數(shù)據(jù)稀缺，使得傳統(tǒng)方法進(jìn)行監(jiān)督訓(xùn)練時(shí)文本與視覺特征缺乏語義一致性。同時(shí)傳統(tǒng)方法還易忽視局部關(guān)系與全局信息，從而導(dǎo)致性能不佳。針對(duì)上述問題，提出了一種基于語義一致性約束與局部-全局感知的多模態(tài)3D視覺定位方法。首先，該方法通過蒸餾2D預(yù)訓(xùn)練視覺語言模型知識(shí)，幫助3D模型提取到點(diǎn)云-文本語義一致性特征；其次設(shè)計(jì)了局部-全局感知模塊，不斷補(bǔ)充增強(qiáng)候選目標(biāo)特征，以更精確匹配目標(biāo)。（剩余16357字）