插图来源:Storyset
问:本地跑 AI 是什么意思?#
答:把开源大模型下载到自己的电脑上运行,不经过任何云端服务。代表工具是 Ollama、LM Studio 这类,一键就能在本地跑起来。教程看Ollama 本地大模型入门和 LM Studio 指南。
问:本地和云端,效果差多少?#
答:实话实说,差距不小。云端顶级模型的综合能力、知识广度、复杂推理,目前本地模型还追不上。但日常的写作、翻译、总结、写简单代码,本地的中等模型已经够用。关键看你的任务有多难。
问:隐私方面呢?#
答:这是本地最大的王牌。数据不出你的电脑,不用担心对话被拿去训练、不怕账号被封。处理私人文档、公司内部资料,本地是更安心的选择。云端 AI 的隐私注意事项见AI 隐私指南。
问:成本怎么算?#
答:云端是持续付费,订阅费按月交;本地是一次性投入,主要是显卡/内存的硬件成本,外加电费。轻度用户云端免费版就够了,重度用户如果已有不错的电脑,本地反而可能更划算。订阅省钱技巧看AI 会员怎么买最省。
问:门槛高吗?#
答:云端打开网页就能用,零门槛;本地要装软件、选模型、调参数,还要电脑配置跟得上。小白建议先从云端用起,等有明确需求(比如隐私、离线、折腾)再玩本地。
一句话总结#
- 怕麻烦、要最强效果 → 云端订阅
- 在意隐私、有台好电脑、爱折腾 → 本地部署
- 都想要 → 云端主力 + 本地备用,成年人不做选择
问:电脑什么配置才能跑本地模型?#
答:关键看内存(显存+内存)。想流畅跑一个中等规模的开源模型,16GB 以上内存是起步,显存越大能跑的模型越大。轻薄本也能跑小模型,就是速度慢一些。先下一个小模型试试水,觉得够用再考虑加配置——别为了跑 AI 先去换电脑。
问:断网了本地模型还能用吗?#
答:能,这就是本地最大的底气之一。模型下载到本地后,断网、飞机上、公司内网都能用。云端断网就抓瞎,本地该干嘛干嘛。
问:能不能混着用?#
答:这是我最推荐的姿势:日常主力用云端(效果强、省心),敏感文档、离线场景切本地。两个都装好,哪个顺手用哪个。工具层面,Ollama 配个好用的前端,体验已经很接近网页版了。