本地除了nsfw,或特定小范围需求,大部分真不如在线
本地671B硬件需要好十几个,需要首先回本
配置不够,可以租5090啥的跑一两个小时,没多少钱
没办法终端规模不够
等发展吧,等蒸馏小模型或者用户隐私功能进一步完善发展
以后如果想搞数字分身或者真的私密需求,本地应该是最优解
配置比较高的可以部署qwen的一些30b左右的小模型,性能尚可。但和商用的肯定是比不了的
本地除了nsfw,或特定小范围需求,大部分真不如在线
本地671B硬件需要好十几个,需要首先回本
配置不够,可以租5090啥的跑一两个小时,没多少钱
没办法终端规模不够
等发展吧,等蒸馏小模型或者用户隐私功能进一步完善发展
以后如果想搞数字分身或者真的私密需求,本地应该是最优解
配置比较高的可以部署qwen的一些30b左右的小模型,性能尚可。但和商用的肯定是比不了的