DeepFloodbeta

蚂蚁开源的万亿参数模型Ling-1T值得关注吗?

10月9号蚂蚁开源了Ling-1T,这是个万亿参数级的大模型,在开源领域算是个不小的事件。简单说下几个关键点:
参数规模是1T,但用的MoE架构,每次推理只激活50B参数左右,所以推理成本可控。在AIME 25数学竞赛测试里,用4000多token达到70.42%准确率,比gemini 2.5 pro还省token还准确。
技术上有几个创新,全程用FP8精度训练,比常见的BF16省显存还快15%。提出了LPO优化方法,以句子为单位做优化,比传统的词元级或序列级更合理。训练数据用了20T高质量语料,分三阶段预训练。
在代码生成、数学推理这些任务上测试成绩都不错,在ArtifactsBench前端能力测试里开源模型排第一。支持128K上下文,处理长文档也没问题。
已经在huggingface和魔搭社区开源了,想试试的可以去看看。国产开源大模型能做到这个水平还是挺不容易的。

  • FP8训练和LPO优化这两个点挺有意思

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

📈用户数目📈

目前论坛共有13151位用户

🎉欢迎新用户🎉