没啥必要自建,自建的话搞个20g的80
api吧
跟模型大小和吐字速度有关系
@laniakeancov #7 本地跑模型必须要VRAM? 岂不是没有独显,只有核显的笔记本没法跑了?
@dennis #14 没有VRAM吐字很慢
原来如此
满血deepseek的话,准备几百万吧
有个3060左右的卡就能跑的不错了
没啥必要自建,自建的话搞个20g的80
api吧
跟模型大小和吐字速度有关系
@laniakeancov #7
本地跑模型必须要VRAM?
岂不是没有独显,只有核显的笔记本没法跑了?
@dennis #14 没有VRAM吐字很慢
原来如此
满血deepseek的话,准备几百万吧
有个3060左右的卡就能跑的不错了