基于二叉樹結(jié)構(gòu)采樣預(yù)估的召回模型框架

打開文本圖片集

摘要：在廣告或者推薦系統(tǒng)的召回階段，通常會(huì)包含百萬到億級(jí)別的候選集，采樣和預(yù)估就成為很重要的問題；傳統(tǒng)的召回模型會(huì)做隨機(jī)負(fù)采樣，這種方法采樣的數(shù)據(jù)分布和整體樣本分布可能存在不一致，影響模型訓(xùn)練效果，在預(yù)估服務(wù)時(shí)線上infer性能也是嚴(yán)峻的考驗(yàn)；針對(duì)這兩個(gè)問題，我們提出了基于樹結(jié)構(gòu)的采樣預(yù)估服務(wù)，把全量候選集通過層次聚類構(gòu)建到一顆二叉樹中，所有物料掛在的樹的葉子結(jié)點(diǎn)，通過二叉樹采樣可能無偏的來到所有物料，并且線上infer時(shí)間復(fù)雜度從O（n）降低到O（log（n）），整體提升了模型訓(xùn)練效果和預(yù)估時(shí)間開銷。（剩余4125字）