支持全整數(shù)推斷的神經(jīng)網(wǎng)絡(luò)遞增定點(diǎn)量化算法研究

打開文本圖片集

摘要：為了解決量化模型不支持全整數(shù)推斷及共享指數(shù)受奇異值影響等問題，本文提出一種支持全整數(shù)推斷的神經(jīng)網(wǎng)絡(luò)遞增定點(diǎn)量化算法（integer-only incremental quantization，IOIQ）。通過將神經(jīng)網(wǎng)絡(luò)權(quán)重和特征從浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為帶有整數(shù)共享指數(shù)（integer-shared exponent，INT-SE）的數(shù)據(jù)，實(shí)現(xiàn)浮點(diǎn)模型的有效壓縮。（剩余12191字）