主要看你的 QPS 、TPS 以及 TTFT 有没有要求 然后对模型回复的准确性有没有要求 基于这些点来决定部署哪个版本的 DeepSeek (量化的,非量化的,蒸馏的,满血的) 然后根据需要部署的版本来决定买什么机器,最后就可以出成本了。甚至可以算出 单token 的价格
买api
主要看你的 QPS 、TPS 以及 TTFT 有没有要求
然后对模型回复的准确性有没有要求
基于这些点来决定部署哪个版本的 DeepSeek (量化的,非量化的,蒸馏的,满血的)
然后根据需要部署的版本来决定买什么机器,最后就可以出成本了。甚至可以算出 单token 的价格