在 Apple 芯片上运行本地大模型：先算内存

在 Mac 上，GPU 可以使用大部分统一内存，这也是 Mac Studio 能运行在其他平台上需要多张显卡的模型的原因。第一个问题永远是：模型装得下吗？

经验法则

对于 4 位量化的模型，按每十亿参数约 0.5–0.6 GB 内存估算，再加上上下文窗口（KV 缓存）和系统所需的空间。8 位量化大约翻倍。

• 4 位的 7–8B 模型：16GB 即可流畅运行。
• 4 位的 13–14B 模型：24GB 更合适。
• 4 位的 30–34B 模型：建议 36GB 或以上。
• 70B 级模型：选择大内存的 Mac Studio。

以上只是估算。长上下文或多人同时使用需要明显更多内存。

好用的工具

• llama.cpp 和 Ollama：借助 Metal 加速快速部署。
• Apple 的 MLX：原生运行和微调模型。

给团队使用

在云端 Mac 上运行模型服务，通过 SSH 隧道或私有网络访问，而不是把端口直接暴露到公网。这样提示词和数据都留在你自己的环境中。