本地模型：Ollama、llama.cpp 还是 vLLM？

相对出众的地方

Ollama 相对适合把本地模型运行和 API 接入快速带起来。llama.cpp 相对突出的是量化模型、CPU/边缘设备和底层可控性。vLLM 相对聚焦批处理、并发请求和共享 GPU 推理服务。它们关注的运行边界不同，不能压缩成一条总排名。

需要先验证本地模型能否完成真实任务时，可以先看 Ollama。目标包含边缘设备、CPU 运行或受控二进制时，可以看 llama.cpp。多个客户端需要共享模型接口、并发量是主要约束时，可以看 vLLM。比较的核心应是你的流量形态和运行责任。

运行时不能替你决定模型权重许可证、输出质量、内存占用和数据路径。仍要用代表性提示词测量模型，记录 GPU 与内存需求，控制 API 暴露面，并准备升级回滚方案。“本地运行”也不自动等于所有请求都留在本机。

用同一个模型或同一模型家族完成一个代表性任务，记录安装时间、冷启动时间、内存占用、吞吐、并发请求和停止重启步骤。实验要在实际准备运行的硬件上重复，避免把别人的硬件结果当成自己的结论。