显卡是RTX 4050 Laptop GPU 6G 跑gemma3 12B有些吃力 跑qwen3 8B 还是挺流畅，就是思考有点慢 然后gemma3 很容易就被调教成了带颜色的角色 qwen3一直死守规则，拒绝提供回答
@Donald2018 #3 发布于2025/10/6 20:05:55 @MaxChan #2 我是现在vps装着试试的 6h12g AMD EPYC 9634 效果不咋滴 这个vps上运行8b 速度如何
挺好，我也是一样配置
想不开啊本地装
@MaxChan #2
我是现在vps装着试试的
6h12g AMD EPYC 9634
效果不咋滴
调教好了 开源出来
这个vps上运行8b 速度如何
本地装差不多就是这个表现
实际也可以用魔搭的品一下
没好的显卡，装了后也是个残废
@lxiian #5
我没调任何参数，全是默认
无论运行多大模型都是CPU百分百
量化后的8b吐字还算利索，勉强能接受的水平
但是对话多了上下文衔接的话
就有点够呛了
本地部署的就是个玩具
配置还可以啊