本地大概只能部署一个 3B,最多8B的模型
感觉质量比大厂的 flash 或者 mini 差很多
配置高效果就好
@raingod #1 发布于2025/10/2 13:24:32 配置高效果就好
个人电脑很难配置高啊,一般就8G显存
满配和低配能比?
更新太快。很快就跟不上了 除非玩nsfw
本地跑需要很高的配置,不值当,可以考虑多ai集成平台调用的方式
所以一般就用来玩玩还行 真用起来还得调api
qwen3 30b a3b thinking这种基本上和在线的差距不大了,而且新一些的cpu+内存也有10tokens左右。
本地跑不了大参数量的满血模型,实际的作用其实不大
小参数的没意义
本地能跑的参数小,当然不理想
配置高效果就好
个人电脑很难配置高啊,一般就8G显存
满配和低配能比?
更新太快。很快就跟不上了
除非玩nsfw
本地跑需要很高的配置,不值当,可以考虑多ai集成平台调用的方式
所以一般就用来玩玩还行
真用起来还得调api
qwen3 30b a3b thinking这种基本上和在线的差距不大了,而且新一些的cpu+内存也有10tokens左右。
本地跑不了大参数量的满血模型,实际的作用其实不大
小参数的没意义
本地能跑的参数小,当然不理想