rt,先向大家汇报一下我的理解:现在大模型的参数基本是固定的,通过大规模加深网络深度和宽度,造成所谓的涌现:面对分布内任务效果好(训练数据集很大),对于数学逻辑等数据集外的未知任务并不如意。未来的发展方向在哪里呢?
PS:1. 世界模型可以让模型对于现实世界的模拟评估更准确,相对来说能提升校准对齐真实世界的能力,是通用型人工智能的必经之路,但是还不够。2. 有说法是,大模型探索完新的任务并被校准之后,应该动态更新模型内部参数,但是目前参数更新后有很大概率崩溃。
rt,先向大家汇报一下我的理解:现在大模型的参数基本是固定的,通过大规模加深网络深度和宽度,造成所谓的涌现:面对分布内任务效果好(训练数据集很大),对于数学逻辑等数据集外的未知任务并不如意。未来的发展方向在哪里呢?
PS:1. 世界模型可以让模型对于现实世界的模拟评估更准确,相对来说能提升校准对齐真实世界的能力,是通用型人工智能的必经之路,但是还不够。2. 有说法是,大模型探索完新的任务并被校准之后,应该动态更新模型内部参数,但是目前参数更新后有很大概率崩溃。
每个人理解角度不同,老哥们畅所欲言无对错,一起讨论交流呀
不同器官执行不同功能,我认为以后是混合模型。
现在所谓的大语言模型,也许只能起到开口说话的作用,世界模型起到理解感知世界的作用。
但最重要的,作为大脑的模型,统一调度其他所有,作为器官的模型,没有出现。
或许会在通和专之间找个平衡吧