基于隱層相關(guān)聯(lián)算子的知識蒸餾方法

打開文本圖片集

摘要：近年來，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在人工智能領(lǐng)域取得了巨大成功，例如，區(qū)塊鏈、語音識別、圖像理解等.然而，隨著模型準確率的不斷提高，與之伴隨的是網(wǎng)絡(luò)模型計算量與參數(shù)量的大幅增長，從而帶來了諸如處理速度小，內(nèi)存占用大，在移動端設(shè)備上難以部署等一系列問題.知識蒸餾作為一種主流的模型壓縮方法，將教師網(wǎng)絡(luò)的知識（剩余17821字）