結(jié)合主題模型與自監(jiān)督學(xué)習(xí)的可控文本生成技術(shù)研究

打開文本圖片集

摘要： 基于大型預(yù)訓(xùn)練語(yǔ)言模型的有監(jiān)督學(xué)習(xí)方法在可控文本生成任務(wù)上取得了優(yōu)秀的成果，但這些研究都著重于控制生成文本的高級(jí)屬性（比如情感與主題），而忽略了泛化性問題.現(xiàn)有的基于自監(jiān)督學(xué)習(xí)的研究方法則通過句子級(jí)別的訓(xùn)練來使模型獲得補(bǔ)全整句的能力，使模型做到單詞和短語(yǔ)級(jí)別的控制生成，但生成與特定（剩余17362字）