基于跨模態(tài)多維關(guān)系增強的多模態(tài)模型研究

打開文本圖片集

摘 要：針對當前多模態(tài)模型不能充分挖掘圖像中非顯著區(qū)域的空間關(guān)系和上下文間的語義關(guān)系，導致多模態(tài)關(guān)系推理效果不佳的問題，提出了一個基于跨模態(tài)多維關(guān)系增強的多模態(tài)模型（multi-dimensional relationship enhancement model，MRE），用于提取潛層結(jié)構(gòu)下圖像各要素之間的空間關(guān)系信息，并推理出視覺—語言間的語義相關(guān)性。（剩余16713字）