胸部X線影像和診斷報(bào)告的雙塔跨模態(tài)檢索

打開(kāi)文本圖片集

摘 要：針對(duì)現(xiàn)有胸部X線影像和診斷報(bào)告跨模態(tài)方法重點(diǎn)聚焦于全局信息對(duì)齊，忽視了影像和診斷報(bào)告間的細(xì)粒度語(yǔ)義關(guān)聯(lián)，導(dǎo)致檢索精度低、匹配度差的問(wèn)題，提出全局和局部聯(lián)合對(duì)齊的胸部X線影像和診斷報(bào)告雙塔跨模態(tài)檢索方法（CDTCR）。具體來(lái)說(shuō)，針對(duì)細(xì)粒度語(yǔ)義表征，提出由殘差網(wǎng)絡(luò)組成的影像編碼器學(xué)習(xí)影像的細(xì)粒度特征和由Transformer構(gòu)成的BERT模型學(xué)習(xí)診斷報(bào)告的細(xì)粒度語(yǔ)義特征；針對(duì)細(xì)粒度語(yǔ)義關(guān)聯(lián)問(wèn)題，設(shè)計(jì)影像對(duì)句子和區(qū)域?qū)υ~組兩個(gè)不同粒度的模態(tài)間信息對(duì)齊策略，解決了不同模態(tài)間細(xì)粒度語(yǔ)義關(guān)聯(lián)不足的問(wèn)題。（剩余14069字）