插图来源:Storyset
Meta 在 4 月中旬开源了 Llama 3,首发 8B 和 70B 两个版本。开源社区瞬间沸腾:这是 Llama 2 之后最重要的开源模型。普通人最关心的问题只有一个:我的电脑能跑吗? 清单式回答。
能跑吗:配置清单#
- 8B 版本(量化后):16GB 内存的电脑就能跑,M1/M2 Mac、主流 Windows 本都行,速度可接受;
- 8B 满血版:需要一张 16GB 显存的显卡(如 RTX 4080)或 32GB 统一内存的 Mac;
- 70B 版本:普通人别想了,至少 2 张 24GB 显卡或 64GB+ 内存的 Mac Studio 起步;
- 最低门槛玩法:用 Ollama 一键跑 8B 量化版,Mac / Windows / Linux 全支持,Ollama 上手看这篇。
Llama 3 强在哪#
- 8B 打 70B:8B 版本的跑分接近上一代 70B 级别,端侧小模型的春天;
- 中文可用:官方主要优化英文,但中文问答已经能用,社区微调版更多;
- 商用友好:延续 Llama 社区许可,大部分商业场景可直接用。
和闭源模型差多少#
实话:70B 版约等于 GPT-3.5 到 GPT-4 之间的水平,离 GPT-4 和 Claude 3 Opus 还有代差。但开源的意义不在"最强",而在"可控":数据不出内网、可微调、免费——这三点是企业和个人开发者的刚需。
普通人怎么玩#
- 装 Ollama,拉 8B 量化模型,先跑起来;
- 试试 LM Studio 的图形界面,更友好;
- 有 NAS 或软路由的,可以 24 小时挂着当私人助理。
不想本地跑?云端平替#
嫌折腾本地环境,2024 年有几个白嫖/低成本的云端选择:
- Groq:推理速度极快,Llama 3 8B 免费额度大方,适合尝鲜;
- Together AI:免费额度跑 Llama 3 70B,体验大模型的实力;
- 火山/硅基流动:国内平台也有 Llama 3 镜像,中文优化更好。
先云端试手感,确定常用再折腾本地部署,顺序别反了。
常见问题排错#
- 下载慢:模型文件几个 GB,换网络环境或等半夜,Ollama 支持断点续传;
- 显存/内存不足:换更小的量化版(Q4),或关掉其他吃内存的应用;
- 中文回答夹英文:正常现象,Llama 3 中文还在追赶,社区中文微调版会好一些;
- 速度慢:8B 在核显本上约 10~20 tokens/秒,能用;想要快就上独显;
- 想换模型:
ollama pull拉新模型,ollama list看本地已有,一台电脑跑多个模型没问题; - 开远程访问:设环境变量
OLLAMA_HOST,手机/平板连局域网地址就能用。
Ollama 实战:三步跑起来#
- 安装:官网下载 Ollama,Mac / Windows / Linux 都有,一路下一步;
- 拉模型:终端输入
ollama run llama3:8b,第一次会下载几个 GB,耐心等; - 开聊:下载完直接对话,中文问答、写代码、总结文档都能试。
进阶:想换图形界面用 LM Studio;想在手机上玩,内网部署后用 App 连。局域网内的旧电脑、NAS,都能变成你的"私人 AI 服务器"。
量化版怎么选#
社区量化版本众多,新手记住:
- Q4:体积小、速度快,日常用首选;
- Q8:更接近原版,内存够就上;
- 别纠结:先跑起来,觉得不够聪明再换大的。
一句话:Llama 3 让"本地大模型"从极客玩具变成了实用工具。8B 模型 + 16GB 内存,就是 2024 年的甜点配置。