針對大語言模型的偏見性研究綜述

打開文本圖片集

摘 要：偏見現(xiàn)象普遍存在于人類社會，并通常以自然語言為載體呈現(xiàn)。傳統(tǒng)的偏見研究主要針對靜態(tài)詞嵌入模型展開，但隨著自然語言處理技術(shù)的不斷演進，研究對象逐漸轉(zhuǎn)向上下文處理能力更強的預訓練模型。而作為預訓練模型的進一步發(fā)展，盡管大型語言模型憑借驚人的性能和廣闊的發(fā)展前景在多個應(yīng)用場景中得到了廣泛部署，但其仍可能會從未經(jīng)處理的訓練數(shù)據(jù)中捕捉到社會偏見，并將偏見傳播到下游任務(wù)中。（剩余42055字）