RT.
这两个完全够用。硬件是关键
@S0meone #1 硬件哪些优先 显存＞频率？
还有其他的吗
@Ibuprofen #2 对，几张矿卡3090也可以
ollama用起来不错
本地速度快吗？
@philboy #6 单卡单U垃圾硬件一点不快，像楼上说的多卡3090估计很爽
并发好点要上vllm推理框架或者国产赤兔框架
这两个完全够用。硬件是关键
@S0meone #1 硬件哪些优先 显存＞频率？
还有其他的吗
@Ibuprofen #2
对，几张矿卡3090也可以
ollama用起来不错
本地速度快吗？
@philboy #6 单卡单U垃圾硬件一点不快，像楼上说的多卡3090估计很爽
并发好点要上vllm推理框架或者国产赤兔框架