AI Tech News
By H.O.

Claude Opus 4.7 高分辨率视觉模式:98.5% XBOW 准确率如何改变计算机使用的生产就绪性

具体功能特性

Claude Opus 4.7 于2026年4月16日发布,随之而来的是 Claude 计算机使用功能感知屏幕内容方式的有文档记录的升级。 Claude Opus 4.7 支持高分辨率图像输入,将最大图像分辨率从长边1568像素提高到2576像素,以改进计算机使用、截图理解和文档分析的性能。 这不是营销宣传——这是一个具体的技术转变,改变了计算机使用实际上能做什么。

自2024年10月22日发布 Claude 3.5 Haiku 和改进的 Claude 3.5 Sonnet(引入了计算机使用功能)以来,该功能一直处于公开测试版。但视觉清晰度始终是瓶颈。Opus 4.7 解决了这个问题。

基准测试结果

最重要的数字是: Claude Opus 4.7 通过高分辨率图像支持显著提高了计算机使用的可靠性,在 XBOW 视觉敏锐度基准测试中达到 98.5%,而 Opus 4.6 为 54.5% 。如果你怀疑这个小数点位置是否是打字错误,那不是。这是单一维度基准测试上提高了 44 个百分点。

XBOW 基准测试衡量 Claude 在给定截图时准确定位和点击 UI 元素的能力。在 54.5% 的准确率下,Opus 4.6 可以大致看到一个按钮,但经常会偏离几个像素。在 98.5% 的准确率下,Opus 4.7 可以以接近人类精度的水平定位和瞄准密集的小型 UI 元素。当你自动化涉及复选框、下拉菜单或电子表格单元格的任务时,这很重要——这是充满大多数企业软件的工作类型。

在更广泛的 OSWorld 基准测试上,该基准测试在真实应用程序中测试端到端任务完成情况, Opus 4.7 在 OSWorld 上达到 78%——与 OpenAI 的 GPT-5.5 的 78.7% 持平 。这与 OpenAI 的前沿模型具有相当的可比性,而不是优越性,但差距缩小是因为分辨率从低提高到了高。

分辨率提升的实际工作原理

官方文档对机制的说明很清楚: 高分辨率支持是自动的,不需要测试版标头;图像可能比之前的模型使用多达约 3 倍的图像令牌。 当你向 Opus 4.7 计算机使用 API 发送截图时,模型会看到更多像素的细节——这对于文本密集的 UI、表单字段和之前被下采样到无法识别的小界面元素尤其重要。

Claude Sonnet 4.6 比 Claude Opus 4.6 在点击时更机械精确,当截图需要大量缩小时更加稳健。Claude Opus 4.7 缩小了这种差距:其点击精度大致可与 Sonnet 4.6 相媲美,其更高的分辨率限制意味着不需要那么多缩放。 翻译一下:在早期的 Opus 版本中,视觉系统必须眯着眼睛看截图。现在不需要了。

权衡是令牌成本。每个截图现在消耗的输入令牌比以前多大约 3 倍。对于 1024×768 截图,较早的估计将成本置于约 1,600 个令牌。在 Opus 4.7 上进行高分辨率处理,在最坏的情况下,你每个截图需要约 4,800 个令牌。 计算机使用测试版向系统提示添加了 466-499 个令牌 ,因此每个 API 调用也会带有该固定开销,无论截图内容如何。

计算机使用在实际部署的地方

Claude 可以通过计算机使用工具与计算机环境交互,该工具提供截图功能和鼠标/键盘控制以进行自主桌面交互。 官方 API 文档特别说明了该工具的功能: 计算机使用是一个测试版功能,使 Claude 能够与桌面环境交互。该工具提供:截图捕获:查看屏幕上当前显示的内容 和鼠标/键盘输入生成。

但在生产中最重要的是: 计算机使用处于测试版。请记住以下限制:延迟:当前计算机使用延迟对人工智能交互可能与常规人工指导的计算机操作相比太慢。关注不需要快速的用例(例如,背景信息收集、自动软件测试)在受信任的环境中。 这是安全文档,它是准确的。计算机使用不是实时面向客户工作的工具。

在 OSWorld 基准测试上,Claude 的得分为 72.5%——从该功能在 2024 年末首次推出时的不到 15% 上升。实际应用:自动化没有 API 的旧版企业软件中的工作流、通过模拟真实用户交互进行 Web 应用程序的 QA 测试,以及跨多个不集成的系统的数据输入。 这些是团队在规模上实际部署此功能的三个用例。

视觉准确性突破的背景

早期模型的低分辨率视觉是瓶颈;Opus 4.7 解决了它。 这是关键洞察:计算机使用不是因为模型无法*决定*下一步做什么而失败的。它失败是因为它无法*看到*足够清晰的小 UI 元素以生成准确的坐标。XBOW 专门测试视觉敏锐度(而不是任务完成),从 54.5% 跃升至 98.5%,是因为分辨率提高直接解决了这个具体问题。

但官方文档中有一个重要的注意事项: Claude 在生成操作时输出特定坐标时可能会犯错误或产生幻觉。扩展思考可以帮助你理解模型的推理并识别潜在问题。 即使在 XBOW 上达到 98.5%,计算机使用也不是完全可靠的。改进是真实的——它是许多任务可用和不可用之间的区别——但它不是"完全按照你指向的地方点击"。

定价和令牌经济学

Claude Opus 4.7 已推出——同样的 $5/$25 定价(约 35/175 人民币)、70% CursorBench(+12pp)、98.5% 视觉准确度、3 倍图像分辨率和新的超高effort 级别。 每个令牌的标价没有变动。但每个截图的令牌消耗增加了三倍。对于需要八个代理循环迭代(八个截图,每个都经过分析和操作)的任务,你现在仅在视觉/理解阶段就花费了 3 倍的成本。

这是否值得完全取决于视觉改进所实现的准确性增益。如果你之前的设置因为模型点击错误的地方而需要在每三个操作之后进行人工监督,Opus 4.7 的 98.5% XBOW 准确率可能会完全消除该审查步骤。如果你的设置已经运行得相当不错,令牌成本增加可能会使你倾向于 Claude Sonnet 4.6,它更便宜且在 OSWorld 上仍表现能力。

在实践中何时使用高分辨率计算机使用

有文档记录的安全部署模式直接来自官方 API 指导: 在你每天使用的网站上更聪明:Claude 现在了解如何导航 Slack、Google Calendar、Gmail、Google Docs 和 GitHub,无需你指导每一次点击。告诉 Claude "安排一个会议"或"更新文档",它知道该怎么做——无需你逐步指导。 Anthropic 已将专门的理解训练到较新的模型中,用于常见应用——不是因为计算机使用无法通用工作,而是因为通用屏幕阅读计算机使用速度更慢、令牌成本更高、可靠性更低。

三个生产用例保持不变:

  • 没有 API 的旧版企业软件:内部仪表板、桌面应用程序、仅公开 UI 的数据库。98.5% 的视觉准确率意味着在导航密集、不熟悉的界面时误点击次数较少。
  • 无人值守的后台自动化:从不公开 API 的 Web 应用程序收集数据、从你无法修改的系统导出报告、跨多个网站的批量表单填充。Opus 4.7 可以处理更复杂的多步工作流,无需步骤之间的人工干预。
  • QA 和测试工作流:通过像用户一样与 Web 应用程序交互来自动测试 Web 应用程序。更高的视觉准确率使其更可靠,减少了由于 UI 元素识别错误导致的假阳性测试失败。

设置和部署现实

API 在 Claude 看到图像之前会对超大图像进行缩小,Claude 返回它看到的图像的坐标,因此依赖服务器端缩小会让你失去所需的比例因子 ——这是官方文档中的直接引用,它指出了一个常见的陷阱。当你通过 API 发送截图时,Claude 不知道你物理屏幕的*实际*像素坐标。你必须处理缩放。 Anthropic 的解决方案是训练 Claude 从参考点(屏幕边缘、已知 UI 元素)数像素到目标位置。这项技能使可靠的光标定位成为可能,无论屏幕分辨率、DPI 缩放或应用程序布局如何。

截至2026年4月30日,Anthropic 当前的计算机使用路径使用 computer-use-2025-11-24 测试版标头和支持的 Claude 4.x 模型 。该 API 仍处于测试版——这对于生产部署很重要,因为功能集、工具签名和可能的定价可能会改变。 此功能符合零数据保留 (ZDR) 的资格。当你的组织具有 ZDR 安排时,通过此功能发送的数据在 API 响应返回后不会被存储。 对于处理敏感数据的团队,ZDR 资格很重要。

这对你的团队意味着什么

98.5% 的 XBOW 基准不是营销。它代表了 Claude 模型家族最高层计算机使用可靠性的真正阶跃变化。如果你过去测试过计算机使用并发现它对生产来说不够可靠,因为它误点击或误识别表单字段,Opus 4.7 的高分辨率视觉模式使该用例变得可行。

但"可行"并不意味着"不需要零人工监督"。 计算机使用是一个测试版功能,具有与标准 API 功能不同的独特风险。在与互联网交互时,这些风险会增加。 官方建议仍然是在隔离环境中运行计算机使用、将其限制在受信任的工作流中,并让人类审查关键决策——尤其是在首次部署时。

令牌成本增加是真实的。在承诺预算之前,对代表性任务进行基准测试。对于已经使用 Claude 进行代理自动化的团队,Opus 4.7 值得在视觉繁重的任务(密集的 UI、小型表单字段、基于截图的 QA)上与 Sonnet 4.6 进行测试,其中准确性增益可能会抵消令牌开销。对于构建新计算机使用工作流的团队,从 Sonnet 4.6 开始,测量误点击发生的位置,然后仅对需要的特定模型和工作流升级到 Opus 4.7。

该功能有效。准确率就在那里。剩余的问题是你的用例是否需要支付 3 倍视觉令牌成本以从 60% 准确率提高到 98% 准确率。对于许多人来说,答案是肯定的。对于其他人来说,它是"等待成本下降或更便宜的模型改进"。