數據引擎驅動的學術出版大模型

——實測檢驗大規(guī)模高質量數據在構建高性能模型中的核心地位

打開文本圖片集

摘 要：在構建高性能大模型時，大規(guī)模高質量數據的重要性不容忽視。本研究旨在深入探究這一核心要素，并系統(tǒng)評估其在專業(yè)領域中的實際應用效果與潛在價值。本研究基于中國知網大量專業(yè)文獻，構建了一個包含1 316.45億token的學術資源數據集AcaDS和2 700萬條指令的下游微調數據集AcaDSI，采用Transformer架構設計并訓練了一個70億參數規(guī)模的生成式學術大模型AcaLM-7B。（剩余12782字）