2024 年本地大模型工具就两个主流选择：Ollama 和 LM Studio。都是免费，都能跑 Llama 3 这类开源模型，但气质完全不同。
一句话区分#
- Ollama：极客向，命令行 + 极简，走 API 路线，适合开发者和想折腾的。
- LM Studio：小白向，图形界面，下载模型、调参数、聊天全在窗口里点鼠标。
对比清单#
- 上手难度：LM Studio 胜。Ollama 要敲命令（虽然就几行），LM Studio 全图形化。
- 模型生态：Ollama 的官方模型库整理得更好，一行命令拉模型；LM Studio 兼容 HuggingFace 的 GGUF，找模型更自由。
- API 能力：Ollama 胜。提供 OpenAI 兼容 API，接各种第三方工具方便，开发者首选。
- 界面体验：LM Studio 胜。自带聊天界面，还能当本地 API 服务器，一鱼两吃。
- 跨平台：都支持 Win / Mac / Linux，Mac 上 LM Studio 的 Metal 优化口碑不错。
- 更新速度：2024 年两者都在快速迭代，新模型（比如 Llama 3）发布后几天内就能跑。
选型建议#
- 纯小白、就想在自己电脑上跟 AI 聊天：LM Studio。
- 开发者、想把本地模型接进自己工具链：Ollama。
- 配置要求：7B–8B 模型需要 16G 内存起步，70B 级别没有高显存显卡就别想了，先看懂量化再决定下多大。
2024 年的 reality check#
本地跑模型好玩，但别指望替代云端：8B 小模型的水平大概相当于 GPT-3.5 级别，写代码、复杂推理还是云端强。本地的价值在于隐私（数据不出内网）和免费无限量，适合特定场景。
上手实操：以 LM Studio 为例#
- 下载安装：官网下对应系统版本，安装一路下一步。
- 搜模型：左侧搜索框搜 “Llama-3-8B-Instruct-GGUF”，选 Q4_K_M 量化版（体积和效果的平衡点）。
- 下载：点下载，等下完（几个 G，找个网好的时候）。
- 加载：点模型加载，参数默认就行，新手别调 temperature。
- 开聊：右侧聊天框直接问，中文问答没问题。
- 当 API 用：左侧开 Local Server，得到一个本地地址，其他工具（如 Cherry Studio）就能调用它。
上手实操：以 Ollama 为例#
- 安装：官网一键安装，Mac / Win / Linux 都有。
- 拉模型：终端跑
ollama pull llama3，等下载完。 - 运行：
ollama run llama3，直接在终端里对话。 - API 调用：Ollama 默认在 11434 端口提供 OpenAI 兼容 API，开发者的最爱。
硬件要求细说#
- 8B 模型：16G 内存是门槛，32G 更从容。Mac 的统一内存架构跑 8B 很舒服，M1 都行。
- 70B 模型：需要大显存显卡或 64G 以上内存，普通人别碰。
- 量化：Q4、Q5、Q8 是精度和体积的 trade-off，新手无脑 Q4_K_M。
- CPU 也能跑：就是慢，8B 模型 CPU 推理每秒几个 token，体验劝退。有独显或 M 芯片再玩。
什么时候用本地，什么时候用云端#
- 用本地：处理隐私数据（病历、合同）、断网环境、想无限量折腾、学习大模型原理。
- 用云端：写代码、复杂推理、联网搜索、多模态。云端模型的上限，本地 2024 年还追不上。
两者不冲突：日常用云端，敏感数据走本地，这才是 2024 年的正确姿势。
2024 年值得跑的模型#
- Llama 3 8B：Meta 2024 年 4 月开源，中文问答、写代码都够用，本地入门首选。
- Qwen2 7B：阿里 2024 年 6 月开源，中文最强，写中文内容选它。
- Mistral 7B：欧洲小钢炮，英文好，速度快。
- Phi-3：微软的小模型，3.8B 参数，手机都能跑，轻量场景用。
模型从哪下#
- Ollama：
ollama pull一行搞定，官方库最省心。 - HuggingFace：搜 GGUF 格式，LM Studio 里直接下。
- 魔搭 ModelScope：国内镜像，下载快，Qwen 系全。
新手避坑#
- 别下 70B：16G 内存跑 70B，等于小马拉大车，先从 7B/8B 开始。
- 量化别贪高：Q8 比 Q4 大一倍，效果好不了多少，新手 Q4 就够。
- 温度参数：默认 0.7–0.8，写代码调低（0.2），写小说调高（0.9）。
- 上下文长度：默认 4K 够用，长文档问答再调大，吃内存。
进阶玩法#
- 知识库问答：把 PDF 扔给 AnythingLLM / Dify，接本地模型，打造私人知识库。2024 年 RAG 本地化已经很成熟。
- API 二次开发：Ollama 的 API 接到自己的小工具里，比如自动分类邮件、批量翻译。
- 模型微调：别碰。2024 年的微调门槛还是高，提示词工程+ RAG 能解决 90% 的需求。
一句话#
Ollama 和 LM Studio 没有高下，只有适合。开发者选 Ollama，小白选 LM Studio，两个都装也不冲突。2024 年，本地大模型从极客玩具变成了实用工具，先跑起来，再谈优化。
插图来源：Storyset
相关阅读：Claude 免费版使用指南 · Ollama：本地大模型入门 · Meta Movie Gen：AI 视频的又一玩家