DeepFloodbeta
search for post search for people use google search

有人试过把 LLM 本地化部署在树莓派上吗？

JinDaYang
JinDaYang楼主种子
in 人工智能
#0

我知道像 Llama.cpp 和 GGUF 格式可以做到很小，但性能还是个问题。有没有人实际在 Raspberry Pi 或其他嵌入式设备上试过？

  • 九尾妖姬
    九尾妖姬种子
    #1

    放过 Raspberry Pi 吧，不可能跑的动的，换个手机跑都比 Raspberry Pi 强

  • ef
    ef种子
    #2

    最新的5对llm来说也太小了吧

  • GeQainZZ
    GeQainZZ种子
    #3

    部署个蛋，冒烟要

  • TGRonin
    TGRonin种子
    #4

    树莓派真的能跑的动吗

  • X-AIO
    X-AIO商家种子企业
    #5

    不太可能吧，首先是Ram太小，其次是这点性能，干冒烟了都不够用的

  • Clancy
    Clancy种子
    #6

    gemma 370M？
    有点意思

    试过4c6g amd鸡本地化部署，也就那样