信息論在深度學(xué)習(xí)中的應(yīng)用概論

打開文本圖片集

摘要：信息論發(fā)展的80多年中在通信、計(jì)算機(jī)、統(tǒng)計(jì)等諸多領(lǐng)域取得了廣泛應(yīng)用;深度學(xué)習(xí)興起的10多年間在圖像識(shí)別、醫(yī)學(xué)診斷、路線規(guī)劃、語音識(shí)別等領(lǐng)域取得了巨大成功。最近幾年，深度學(xué)習(xí)和信息論發(fā)展出了新的交叉學(xué)科，采用信息論的觀點(diǎn)度量深度學(xué)習(xí)引發(fā)了學(xué)術(shù)界廣泛關(guān)注。本文在總結(jié)深度學(xué)習(xí)和信息論領(lǐng)域之后分析了簡單網(wǎng)絡(luò)的互信息，提出星座圖對(duì)互信息壓縮的影響。（剩余3320字）