↓ 跳过正文

Claude 电脑操控功能:AI 能自己操作电脑了

·1378 字·3 分钟
作者
吾便宜

10 月,Anthropic 放了个大招:Claude 新增 computer use(电脑操控)能力。AI 不再只动嘴,而是能看屏幕截图、移动鼠标、点按钮、打字——像个实习生一样操作你的电脑。这篇列能力清单,讲上手步骤。

Claude 电脑操控功能示意图

插图来源:Storyset

能力清单:它现在能做什么
#

  • 看屏幕:截屏识别界面元素,知道按钮在哪、窗口是什么状态。
  • 点鼠标:移动光标、点击、拖拽,操作网页和软件。
  • 敲键盘:输入文字、按快捷键,填表单、写文档。
  • 多步骤任务:比如"帮我查一下这周北京飞上海最便宜的机票",它会自己开浏览器、搜、比价、截图给你看。

不能做什么(现阶段)
#

  • 速度慢:一步操作要几秒到十几秒,别指望它比你快。
  • 容易翻车:复杂界面、验证码、支付环节,经常卡住要人接手。
  • 只在 API 和特定环境开放,普通网页版暂时用不上。

实测案例:它到底怎么干活的
#

早期测试者跑通的几个典型任务,感受一下:

  • 查机票:“帮我查这周北京飞上海最便宜的机票”——它自己开浏览器、搜航班、比价、截图给你看结果,全程你只管喝咖啡。
  • 填表格:看截图识别表单字段,逐项填写,提交前停下来等你确认。
  • 整理文件:“把下载文件夹里的 PDF 按年份归档”——它一个个看、一个个挪,删东西之前会先问你。

上手步骤
#

  1. 准备环境:目前主要通过 API 使用,需要 Claude API 权限,Plus 值不值得开那篇的订阅思路可以参考(不同产品,逻辑相通)。
  2. 搭沙盒:官方推荐在虚拟机/ Docker 里跑,别让 AI 直接碰你的主力机——安全第一。
  3. 给明确指令:任务描述越具体越好,“整理桌面文件"不如"把下载文件夹里的 PDF 按年份移到文档/论文目录”。
  4. 人在回路:关键步骤(删除、发送、支付)设成必须人工确认。

安全使用清单
#

让 AI 碰你的电脑,安全是第一位的:

  • 沙盒隔离:在虚拟机或 Docker 里跑,别让它直接碰主力机。
  • 权限最小化:不给它登录态、支付密码、邮箱完全权限,能少给就少给。
  • 人在回路:删除、发送、付款三类操作,必须设成人工确认,这是底线。
  • 留操作日志:过程录下来,翻车了好复盘,也知道它到底干了什么。

什么时候值得你亲自试
#

  • 开发者:有 API 权限,拿它做自动化原型,尝鲜价值最高。
  • 效率折腾党:愿意搭虚拟机、调 API,把重复劳动交给它。
  • 普通人:等。等网页版或桌面版集成,等速度上来、价格下来。趋势看懂就行,不必当第一批小白鼠。

和之前的 AI 助手有什么区别
#

  • 语音助手:只能执行预设指令;电脑操控能看屏幕、临场应变。
  • 自动化脚本软件:按固定脚本跑,界面一变就崩;电脑操控靠"看"操作,适应性强得多。
  • 之前的 AI 助手演示:多是录播概念片;这次是真实可用的接口,虽然慢,但真能干活。

这意味着什么
#

computer use 是 AI Agent 落地的关键一步:从"告诉你怎么做"到"帮你做"。虽然现在又慢又贵又容易翻车,但方向是对的。年初我们横评过 AI 对话工具,当时比的是"谁更会聊";下半年开始,比的是"谁更会干活"。

普通人现在不用急着用,但要看懂趋势:会操作电脑的 AI,和只会聊天的 AI,是两个物种。前者是生产力,后者是玩具。2024 年 10 月,就是分水岭。

想先体验"AI 帮你找答案"的轻量形态,Perplexity依然是最好的起点——computer use 是未来,AI 搜索是现在。