基于Ring All-Reduce的高擴(kuò)展性分布式機(jī)器學(xué)習(xí)架構(gòu)

打開文本圖片集

摘要：如今，機(jī)器學(xué)習(xí)廣泛應(yīng)用于各個(gè)行業(yè)，然而隨著當(dāng)下各種應(yīng)用場景的數(shù)據(jù)量的增大，分布式機(jī)器學(xué)習(xí)幾乎成為唯一的選擇。因此，各個(gè)設(shè)備之間的數(shù)據(jù)通訊的優(yōu)化十分重要。在參數(shù)服務(wù)器架構(gòu)中，參數(shù)同步通信量大，參數(shù)服務(wù)器節(jié)點(diǎn)的帶寬會(huì)成為瓶頸;而在基于Ring All-Reduce的框架下，通信時(shí)間受限于環(huán)上最慢的連接，當(dāng)環(huán)中GPU節(jié)點(diǎn)數(shù)變多的時(shí)候，會(huì)導(dǎo)致延遲變大。（剩余7420字）