↓ 跳过正文
  1. 文章/
  2. 2024 年文章归档/

Llama 3 开源:普通电脑能跑吗

·1188 字·3 分钟
作者
吾便宜
Llama 3 开源本地运行指南

插图来源:Storyset

Meta 在 4 月中旬开源了 Llama 3,首发 8B 和 70B 两个版本。开源社区瞬间沸腾:这是 Llama 2 之后最重要的开源模型。普通人最关心的问题只有一个:我的电脑能跑吗? 清单式回答。

能跑吗:配置清单
#

  • 8B 版本(量化后):16GB 内存的电脑就能跑,M1/M2 Mac、主流 Windows 本都行,速度可接受;
  • 8B 满血版:需要一张 16GB 显存的显卡(如 RTX 4080)或 32GB 统一内存的 Mac;
  • 70B 版本:普通人别想了,至少 2 张 24GB 显卡或 64GB+ 内存的 Mac Studio 起步;
  • 最低门槛玩法:用 Ollama 一键跑 8B 量化版,Mac / Windows / Linux 全支持,Ollama 上手看这篇。

Llama 3 强在哪
#

  • 8B 打 70B:8B 版本的跑分接近上一代 70B 级别,端侧小模型的春天;
  • 中文可用:官方主要优化英文,但中文问答已经能用,社区微调版更多;
  • 商用友好:延续 Llama 社区许可,大部分商业场景可直接用。

和闭源模型差多少
#

实话:70B 版约等于 GPT-3.5 到 GPT-4 之间的水平,离 GPT-4 和 Claude 3 Opus 还有代差。但开源的意义不在"最强",而在"可控":数据不出内网、可微调、免费——这三点是企业和个人开发者的刚需。

普通人怎么玩
#

  1. 装 Ollama,拉 8B 量化模型,先跑起来;
  2. 试试 LM Studio 的图形界面,更友好;
  3. 有 NAS 或软路由的,可以 24 小时挂着当私人助理。

不想本地跑?云端平替
#

嫌折腾本地环境,2024 年有几个白嫖/低成本的云端选择:

  • Groq:推理速度极快,Llama 3 8B 免费额度大方,适合尝鲜;
  • Together AI:免费额度跑 Llama 3 70B,体验大模型的实力;
  • 火山/硅基流动:国内平台也有 Llama 3 镜像,中文优化更好。

先云端试手感,确定常用再折腾本地部署,顺序别反了。

常见问题排错
#

  • 下载慢:模型文件几个 GB,换网络环境或等半夜,Ollama 支持断点续传;
  • 显存/内存不足:换更小的量化版(Q4),或关掉其他吃内存的应用;
  • 中文回答夹英文:正常现象,Llama 3 中文还在追赶,社区中文微调版会好一些;
  • 速度慢:8B 在核显本上约 10~20 tokens/秒,能用;想要快就上独显;
  • 想换模型:ollama pull 拉新模型,ollama list 看本地已有,一台电脑跑多个模型没问题;
  • 开远程访问:设环境变量 OLLAMA_HOST,手机/平板连局域网地址就能用。

Ollama 实战:三步跑起来
#

  1. 安装:官网下载 Ollama,Mac / Windows / Linux 都有,一路下一步;
  2. 拉模型:终端输入 ollama run llama3:8b,第一次会下载几个 GB,耐心等;
  3. 开聊:下载完直接对话,中文问答、写代码、总结文档都能试。

进阶:想换图形界面用 LM Studio;想在手机上玩,内网部署后用 App 连。局域网内的旧电脑、NAS,都能变成你的"私人 AI 服务器"。

量化版怎么选
#

社区量化版本众多,新手记住:

  • Q4:体积小、速度快,日常用首选;
  • Q8:更接近原版,内存够就上;
  • 别纠结:先跑起来,觉得不够聪明再换大的。

一句话:Llama 3 让"本地大模型"从极客玩具变成了实用工具。8B 模型 + 16GB 内存,就是 2024 年的甜点配置。

相关文章

Flux.1 发布:开源生图王座易主

·1651 字·4 分钟
插图来源:Storyset 2024 年 8 月 1 日,AI 绘画圈地震:Black Forest Labs 发布 Flux.1,开源生图模型的王座,易主了。 清单:Flux.1 是谁 # 出品方:Black Forest Labs,创始团队是 Stable Diffusion 的核心原班人马(从 Stability AI 出走)。 版本:Flux.1 Pro(闭源,最强)、Dev(开源可商用,需申请)、Schnell(开源,Apache 协议,随便用)。 亮点:120 亿参数,文本渲染准(海报字不再乱码)、手部细节好、提示词理解强。 口碑:发布即屠榜,多项盲测超过 Midjourney v6 和 DALL-E 3。 SD vs Flux:王座为什么易主 # Stability AI 动荡:2024 年 SD 团队核心出走、CEO 换人,SD3 发布后反响平平(人体结构问题被群嘲)。 Flux 接棒:原班人马另起炉灶,Flux.1 就是"SD 精神续作",社区无缝迁移。 生态:发布几周内,ComfyUI、Forge 等主流工具全量支持,上手零门槛。 本地部署:配置要求 # 版本 显存要求 说明 Schnell(量化) 8G+ 速度快,画质略降 Dev(fp16) 16G+ 完整画质 Dev(量化) 12G 折中选择 工具推荐 ComfyUI 或 Forge,2024 年 8 月发布后两周内就都支持了。没显卡?用在线聚合站,免费额度够玩。

Llama 3.1 405B:开源模型追平闭源?

·1780 字·4 分钟
插图来源:Storyset Meta 在 7 月下旬发布 Llama 3.1,一口气三档:8B、70B、405B。其中 405B 是史上最大的开源模型,Meta 放话"对标 GPT-4o"。开源模型真的追平闭源了吗?横评对比。

Qwen2 发布:通义千问的开源反击

·1296 字·3 分钟
6 月 7 日,阿里发布了 Qwen2。从 0.5B 的小杯到 72B 的超大杯,五个尺寸一次性全开源,还支持 32K 上下文(72B 版支持 128K)。这是 2024 年国产开源模型最重磅的一次更新。复盘一下这半年发生了什么,以及 Qwen2 到底强在哪。

Ollama vs LM Studio:本地跑模型选哪个

·1762 字·4 分钟
2024 年本地大模型工具就两个主流选择:Ollama 和 LM Studio。都是免费,都能跑 Llama 3 这类开源模型,但气质完全不同。 一句话区分 # Ollama:极客向,命令行 + 极简,走 API 路线,适合开发者和想折腾的。 LM Studio:小白向,图形界面,下载模型、调参数、聊天全在窗口里点鼠标。 对比清单 # 上手难度:LM Studio 胜。Ollama 要敲命令(虽然就几行),LM Studio 全图形化。 模型生态:Ollama 的官方模型库整理得更好,一行命令拉模型;LM Studio 兼容 HuggingFace 的 GGUF,找模型更自由。 API 能力:Ollama 胜。提供 OpenAI 兼容 API,接各种第三方工具方便,开发者首选。 界面体验:LM Studio 胜。自带聊天界面,还能当本地 API 服务器,一鱼两吃。 跨平台:都支持 Win / Mac / Linux,Mac 上 LM Studio 的 Metal 优化口碑不错。 更新速度:2024 年两者都在快速迭代,新模型(比如 Llama 3)发布后几天内就能跑。 选型建议 # 纯小白、就想在自己电脑上跟 AI 聊天:LM Studio。 开发者、想把本地模型接进自己工具链:Ollama。 配置要求:7B–8B 模型需要 16G 内存起步,70B 级别没有高显存显卡就别想了,先看懂量化再决定下多大。 2024 年的 reality check # 本地跑模型好玩,但别指望替代云端:8B 小模型的水平大概相当于 GPT-3.5 级别,写代码、复杂推理还是云端强。本地的价值在于隐私(数据不出内网)和免费无限量,适合特定场景。

o1 正式版与 Pro 档:200 美元档值吗

·1938 字·4 分钟
插图来源:Storyset OpenAI 在 12 月初的"12 天发布会"开幕当天,发布了 o1 正式版,并同步推出 200 美元/月的 ChatGPT Pro。200 美元,10 倍于 Plus,AI 订阅的天花板被捅穿了。这钱到底贵在哪?对比+复盘。

Gemini 2.0 发布:谷歌的反击

·2039 字·5 分钟
插图来源:Storyset 2024 年 12 月 11 日,谷歌发布 Gemini 2.0。从 2 月的 1.5 到 12 月的 2.0,谷歌用一年时间完成了追赶。这次发布会的核心词就一个:Agent。横向对比一下,看看谷歌能不能翻盘。