蚂蚁开源的Ling-1T模型参数量惊人

10月初蚂蚁集团宣布开源了Ling-1T模型,参数规模达到一万亿,这在国产开源模型里算是比较大的突破了。这个模型用了"中训练+后训练"的思维链训练方法,在20T token的高质量语料上做预训练,然后逐步提升推理能力。