买api算了 折腾这些干啥
买显卡的钱拿来买API说不定够用到公司垮
本地部署瞎折腾
看你要部署满血版还是量化版
这个用量的话,不建议本地部署了,设备太贵了,折旧快过用量
可以看看我们家的竞价API方案
先开云gpu 看看自己需要多快的速度
对自己数据安全要求比较高的会比较在意的。
并发的多性能要求高吧,不然吐字太慢
不过没有必要671b吧,针对训练一个小的模型,20多W可以搞定吧
看你需要了
买api算了
折腾这些干啥
买显卡的钱拿来买API说不定够用到公司垮
本地部署瞎折腾
看你要部署满血版还是量化版
这个用量的话,不建议本地部署了,设备太贵了,折旧快过用量
可以看看我们家的竞价API方案
先开云gpu 看看自己需要多快的速度
对自己数据安全要求比较高的会比较在意的。
并发的多性能要求高吧,不然吐字太慢
不过没有必要671b吧,针对训练一个小的模型,20多W可以搞定吧
看你需要了