本地部署

插图来源：Storyset Meta 在 4 月中旬开源了 Llama 3，首发 8B 和 70B 两个版本。开源社区瞬间沸腾：这是 Llama 2 之后最重要的开源模型。普通人最关心的问题只有一个：我的电脑能跑吗？ 清单式回答。

2024 年本地大模型工具就两个主流选择：Ollama 和 LM Studio。都是免费，都能跑 Llama 3 这类开源模型，但气质完全不同。 一句话区分 # Ollama：极客向，命令行 + 极简，走 API 路线，适合开发者和想折腾的。 LM Studio：小白向，图形界面，下载模型、调参数、聊天全在窗口里点鼠标。 对比清单 # 上手难度：LM Studio 胜。Ollama 要敲命令（虽然就几行），LM Studio 全图形化。 模型生态：Ollama 的官方模型库整理得更好，一行命令拉模型；LM Studio 兼容 HuggingFace 的 GGUF，找模型更自由。 API 能力：Ollama 胜。提供 OpenAI 兼容 API，接各种第三方工具方便，开发者首选。 界面体验：LM Studio 胜。自带聊天界面，还能当本地 API 服务器，一鱼两吃。 跨平台：都支持 Win / Mac / Linux，Mac 上 LM Studio 的 Metal 优化口碑不错。 更新速度：2024 年两者都在快速迭代，新模型（比如 Llama 3）发布后几天内就能跑。 选型建议 # 纯小白、就想在自己电脑上跟 AI 聊天：LM Studio。 开发者、想把本地模型接进自己工具链：Ollama。 配置要求：7B–8B 模型需要 16G 内存起步，70B 级别没有高显存显卡就别想了，先看懂量化再决定下多大。 2024 年的 reality check # 本地跑模型好玩，但别指望替代云端：8B 小模型的水平大概相当于 GPT-3.5 级别，写代码、复杂推理还是云端强。本地的价值在于隐私（数据不出内网）和免费无限量，适合特定场景。