DeepFloodbeta

手头有好几个ai公益站,想软负载起来一块用,有什么好方案嘛?

  • 希望能够按照模型分类,每个模型接入多个公益站 api,调用软负载到各公益站,最大化利用起来
  • gpt-load 已经搭建好了,不能这样
  • 佬们还有其他方案嘛
  • new-api 呗

  • 马可,有方案了踢我一下

  • API用轮询来均衡最简单

  • new-api

  • API轮询项目

  • New API 录入各个渠道,将相同模型的模型名重映射为同一个名称,项目会轮询有该模型的渠道~

  • 谢谢大家建议,确定 new-api 自建能够满足需求了