↓ 跳过正文

Ollama:本地大模型入门

·1650 字·4 分钟
作者
吾便宜

一句话介绍 Ollama:让你在自己电脑上跑大模型的工具,免费、开源、一条命令开聊。数据不出内网,断网也能用,敏感文档随便喂。这篇极简上手,外加本地和在线方案的横评。

Ollama 本地大模型运行示意
*插图来源:[Storyset](https://storyset.com/)*

安装:去官网下就行
#

打开 ollama.com,按你的系统(Windows / macOS / Linux)下载安装包,一路下一步。装完打开终端(命令行),输入 ollama --version,有版本号输出就是装好了。

拉模型:像下软件一样简单
#

核心就两个命令。拉模型:ollama pull qwen2.5(通义千问,中文强)、ollama pull llama3.1(Meta 开源,英文强)、ollama pull deepseek-r1(深度求索的推理模型,数学代码猛)。开聊:ollama run qwen2.5,回车,直接对话。

选模型看后缀:比如 qwen2.5:7b 里的 7b 是参数量。数字越大越聪明,也越吃配置。新手从 7b~8b 开始,这是甜点区。

硬件实话:什么电脑能跑
#

说个大实话:7b~8b 的模型,普通轻薄本就能跑,速度大概每秒几个到十几个词,日常问答、写东西够用。上 70b 级别?那得大内存工作站或带大显存的独显,别为难你的超极本。

内存是硬指标:跑 8b 模型,建议 16G 内存起步;边跑模型边开一堆 Chrome 标签页,8G 内存会教你做人。如果内存实在紧张,优先选上文提到的 q4 量化版,能省出一大截。

横评:本地跑 vs 在线用
#

本地(Ollama)的优势:隐私拉满,数据不出电脑;断网可用;免费无限量(电费自理)。劣势:效果不如顶级在线模型;速度看你电脑脸色;大模型跑不动。

在线(API/网页版)的优势:效果最强,永远最新;手机也能用。劣势:数据要上传;免费版有限额;重度用要花钱。

第三个选项:LM Studio
#

不想碰命令行的,看 LM Studio:图形界面,点点鼠标下载模型、开聊天,体验像装了个本地版 ChatGPT。Ollama 适合爱折腾的极客,LM Studio 适合"别让我开终端"的大多数人,底层跑的模型是同一批。

模型选择:qwen、llama、deepseek 怎么选
#

刚入门别被模型库淹没,记住这三个就行:

  • qwen2.5(通义千问):中文最强,写中文、聊中文话题首选。7b 版本是甜点。
  • llama3.1(Meta):英文最强,生态最好,教程最多。英文任务用它。
  • deepseek-r1(深度求索):推理能力强,数学、代码、逻辑题表现突出,2025 年初爆火的那款。

选模型的逻辑:中文日常用 qwen,英文用 llama,烧脑题用 deepseek-r1。先各拉一个 7b~8b 玩,玩明白了再考虑更大的。

Open WebUI:给 Ollama 配个图形界面
#

受不了黑乎乎的终端?装 Open WebUI:浏览器里打开就是个"本地版 ChatGPT",多轮对话、历史记录、换模型点点鼠标。部署稍微要折腾一下(Docker 一行命令的事),但装好之后,家里人都能用。对了,它还能接多个后端,不只 Ollama。

进阶:把 Ollama 当本地 API 用
#

ollama serve 启动服务后,它提供了兼容 OpenAI 格式的 API 接口。意思是:你原来调 OpenAI API 的代码,把地址改成本地,就能零改动换成免费本地模型。做开发、跑批量任务,这个特性是神器—— token 不要钱,随便造。

配置不够?试试量化版
#

看到模型名后面带 q4、q8 这种,就是量化版:把模型精度压缩,体积小一半,效果损失很小。qwen2.5:7b-q4 这种,8G 内存的老电脑也能跑起来。新手无脑选 q4 量化版,这是性价比最高的入门姿势。等以后换了好电脑,再玩全精度版也不迟。

新手三步走
#

  1. 装 Ollama,拉一个 qwen2.5:7b(示例),ollama run 聊起来。
  2. 试试喂它一篇长文档做总结,感受"本地+隐私"的快乐。
  3. 玩熟了再考虑:要不要上更大的模型?要不要配个图形前端?

本地大模型不是替代在线 AI,而是多了个"保险柜"选项。涉密的不出内网,日常的用在线,成年人全都要。

想继续折腾,可以看看 OpenAI API Key 申请指南走在线路线,AI 思维导图工具换个方式用 AI 整理知识,对视频生成感兴趣的看 Sora 上手指南。