Transformer研究概述

打開(kāi)文本圖片集

摘要：Transformer在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)和音頻處理等人工智能領(lǐng)域取得了巨大的成功。學(xué)術(shù)界和產(chǎn)業(yè)界研究者設(shè)計(jì)出了各種各樣的Transformer（又稱X-formers）。然而，關(guān)于這些Transformer的系統(tǒng)全面的文獻(xiàn)綜述仍然缺乏。在本綜述中，首先簡(jiǎn)要介紹了vanilla Transformer，然后提出了一種新的X-formers分類法。（剩余6522字）