如何測(cè)試ChatGPT的語(yǔ)義理解與常識(shí)推理水平？

——兼談大語(yǔ)言模型時(shí)代語(yǔ)言學(xué)的挑戰(zhàn)與機(jī)會(huì)

打開(kāi)文本圖片集

關(guān)鍵詞ChatGPT；大語(yǔ)言模型；新圖靈測(cè)試；威諾格拉德模式挑戰(zhàn)；WinoGrande數(shù)據(jù)集

一、引言：大語(yǔ)言模型給語(yǔ)言學(xué)帶來(lái)的挑戰(zhàn)與機(jī)會(huì)

照理說(shuō)，語(yǔ)言學(xué)家應(yīng)該是歡迎語(yǔ)言技術(shù)的進(jìn)步與飛躍發(fā)展的，但是當(dāng)人工智能聊天機(jī)器人ChatGPT風(fēng)靡全網(wǎng)、風(fēng)光無(wú)限時(shí)，不少語(yǔ)言學(xué)家又感到危機(jī)空前，因?yàn)镃hatGPT等大語(yǔ)言模型（largelanguagemodel，LLM）在語(yǔ)言理解與生成方面功能強(qiáng)大，并且?guī)缀趵@開(kāi)了當(dāng)代主流的語(yǔ)言學(xué)理論與方法（詳見(jiàn)Piantadosi2023）。（剩余20618字）