公司有此计划,求高人指导! 用于营销分析和决策,客服! 每日访问量小于1000. 怎样选?
只是部署的话捡垃圾方案都能部署得到,主要是你要多少token/s
要看你想要部署多少参数的模型版本
之前公司为了部署whisper,买了大概3个4090
671b已然没必要了呀
购买api可能会划算一点
华北强 几千就可以了
@花火 #5 🙏
显卡贵
不便宜
只需要m3u的macstudio,不到20万
只是部署的话捡垃圾方案都能部署得到,主要是你要多少token/s
要看你想要部署多少参数的模型版本
之前公司为了部署whisper,买了大概3个4090
671b已然没必要了呀
购买api可能会划算一点
华北强 几千就可以了
@花火 #5 🙏
显卡贵
不便宜
只需要m3u的macstudio,不到20万