基于Transformer模型的預(yù)訓(xùn)練模型綜述

摘 要：隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，自然語言處理（NLP）領(lǐng)域的預(yù)訓(xùn)練模型已經(jīng)取得了顯著的成功。尤其是基于Transformer模型的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，已經(jīng)成為了一種主導(dǎo)的技術(shù)。本文綜述了基于 Transformer 模型的預(yù)訓(xùn)練模型的發(fā)展歷程、原理和應(yīng)用，重點(diǎn)討論了Transformer模型。BERT、GPT模型以及Transformer模型的開源實(shí)現(xiàn)。（剩余6704字）