Claude计算机使用与提示词注入抵抗力:每次部署都需要的生产安全模式
计算机使用模型现已在生产环境中实时运行。提示词注入抵抗力决定了你是否真的能够运行它们。
Anthropic在2026年3月23日为Claude推出了计算机使用功能——这是一项让AI能够自主打开应用、浏览网页、填充电子表格并在用户桌面上执行多步骤任务的功能。这是迄今为止规模最大的最强大的代理接口。它也是当今生产环境中AI部署风险最高的模式。
这种风险不是理论性的。间接提示词注入将恶意指令嵌入AI代理处理的外部内容中,导致一个完全交互式的shell在开发人员自己的用户权限下运行,拥有对环境中每个密钥的访问权限,从API密钥到AWS凭证和GitHub令牌。 根据OWASP基金会的说法,提示词注入被列为LLM01:2025,是AI应用中最关键的单一漏洞。
如果你在部署计算机使用代理到生产环境而不理解提示词注入抵抗力作为一级安全属性,那么你不是在部署产品。你是在部署一个供应链漏洞。
实际发生的情况:两类攻击,成功率差异巨大
间接提示词注入将恶意指令嵌入到LLM处理的外部数据源中,如网页、文档或电子邮件。模型读取被污染的内容并遵循嵌入的指令。这是对计算机使用最重要的攻击模式。
数据非常惊人。 在没有防护措施的情况下,针对基于GUI的代理的单次提示词注入尝试成功率为17.8%。到第200次尝试时,破坏率达到78.6%。 精密的攻击者在进行仅10次尝试的情况下绕过最强防御模型的成功率约为50%。
但是——这对生产环境运营者来说至关重要——防御模型和未防御模型之间的差距是巨大的。 Anthropic在模型训练期间使用强化学习,在模拟环境中向Claude暴露提示词注入,并在模型正确识别和拒绝恶意指令时奖励它。这种方法将浏览器代理的攻击成功率从两位数降低到Opus 4.5的约1%。更新的版本进一步改进: Sonnet 4.6在浏览器提示词注入中显示1.29%的场景攻击成功率,而Sonnet 4.5为49.36%。
模式很清楚。提示词注入抵抗力不是二元功能。它是一个可衡量的属性,你在训练管道中构建它,量化测试它,并将其作为模型卡的一部分部署。
真实事件:这在现实中是如何工作的
2026年2月,攻击者利用编码代理通过大语言模型处理指令的方式,使用提示词注入技术在用户系统上安装软件。 2026年3月,Oasis Security演示了针对claude.ai的完整攻击管道——被称为"Claudy Day"——该管道链接了隐形提示词注入和数据泄露,从默认的开箱即用会话中窃取对话历史记录。
注意发生了什么:没有零日漏洞,没有缓冲区溢出,没有传统漏洞。 隐形HTML标签被嵌入URL参数中,该参数预填充Claude.ai聊天框。用户看到正常提示,但当他们按Enter时,Claude也执行隐藏的指令。
2026年3月,Unit 42记录了在野外观察到的首次大规模间接提示词注入攻击,表明威胁行为者正在积极操作这类漏洞。这不再是研究问题。
生产抵抗力的实际工作方式:训练和纵深防御
安全模式有三层:
- 模型训练: Anthropic在模型训练期间使用强化学习,在模拟环境中向Claude暴露提示词注入,并在模型正确识别和拒绝恶意指令时奖励它。 使用指令层级训练的模型(如GPT-4 Turbo和Claude 3+)对直接注入的抵抗力更强,但仍然容易受到精密间接注入和对抗后缀攻击的影响。仅依靠训练是不够的。
- 语义防御: 结构化指令调优将模型转换为仅在指定的提示词部分中遵循指令,通过在数据部分中包含指令的示例增强训练数据集,并微调模型以忽略这些指令。这在架构级别创建了受信任和不受信任输入之间的边界。
- 运行时验证: 实时输入分类器检测操纵尝试,使用分类器在模型处理提示词注入模式之前识别它们。
关键见解: GPT-4在弹性测试中整体表现最好,研究结果强调强对齐和安全调优对弹性的重要性超过模型规模本身。
仍然存在的差距:诚实的评估
1%的攻击成功率——虽然是显著的改进——仍然代表有意义的风险。没有浏览器代理对提示词注入免疫。 提示词注入远未解决,特别是当模型采取更多真实世界行动时,供应商预期会继续进展,目标是达到一个未来,其中AI模型可以处理高价值任务而不会面临重大提示词注入风险。
扩展数学: 当采用自适应攻击策略时,针对最先进防御的攻击成功率超过85%。前沿模型有更好的绝对性能,但不对称性是真实的——防御者必须100%成功;攻击者只需要赢一次。
| 模型/系统 | 攻击类型 | 成功率(未防御) | 成功率(有防护措施) | 来源 |
|---|---|---|---|---|
| Claude Sonnet 4.6 | 浏览器提示词注入(最佳N选) | 49.36%(Sonnet 4.5) | 1.29% | Anthropic系统卡,2026年3月 |
| Claude Opus 4.5 | 浏览器提示词注入 | ~10–15%(前一版本) | ~1% | Anthropic研究 |
| Claude Opus 4.6(GUI代理) | 单次提示词注入尝试 | 17.8% | 未记录 | Anthropic系统卡 |
| 最强防御模型(常规) | 精密多次尝试注入 | 不适用 | ~50%(10次尝试内) | 国际AI安全报告2026 |
这对你的团队意味着什么:部署检查清单
如果你正在部署计算机使用模型——或计划部署——这是生产模式:
1. 验证模型发布的提示词注入抵抗力。查看供应商的系统卡了解实际攻击成功率,而不是营销语言。 Claude Opus 4.5在提示词注入鲁棒性方面设立了新的标准,代表了核心性能和防护措施方面相对于之前版本的重大改进。但"改进"是相对的。理解基线。
2. 假设间接注入,而不是直接注入。你的代理将处理外部内容——网页、上传的文件、电子邮件、数据库记录。 嵌入在LLM处理的外部数据源中的恶意指令——如搜索工具检索的网页、RAG管道中的文档或电子邮件——仍然是主要的攻击面。这里的防御更难,因为你无法控制输入源。
3. 在上游实施输入分类。 实时输入分类器在模型看到它们之前检测操纵尝试。这一层独立于模型的内部鲁棒性运行。捕获明显提示词注入有效负载的预过滤器即使模型本身易受攻击也减少了攻击面。
4. 审计代理实际能做的事情。最坏的攻击将多个看起来合法的操作链接成漏洞。无情地限制工具权限。如果你的代理不需要发送电子邮件,移除该功能。如果它不需要向某些目录写入文件,将它们锁定。 安全公司Adversa发现Claude Code强制执行针对curl等危险命令的拒绝规则,但源代码包含50个子命令的硬上限。超过该限制,Claude Code默认要求许可而不是阻止。Adversa的概念证明:50个空操作命令后跟curl命令——Claude要求授权而不是拒绝。
5. 预期这会不断演变。 LLM遵循自然语言指令的能力使它们容易受到提示词注入攻击,其中隐藏或恶意指令会导致模型忽略其预期任务或产生不安全的响应。新的攻击模式定期出现。防御是连续的,而不是一次性的。
生产现实
计算机使用模型有效。它们真正有用。但它们通过设计成功——通过使模型能够读取屏幕和采取行动——这正是使它们容易受攻击的原因。提示词注入抵抗力不是一个很好的合规复选框。它是决定系统是否完全可部署的功能。
供应商现在知道这一点。 AI供应商通过训练直接将提示词注入抵抗力构建到模型中,而不仅仅是添加外部过滤器。Anthropic在模型训练期间使用强化学习,在模拟环境中向Claude暴露提示词注入。最好的生产系统结合了模型级训练、架构安全措施和运行时过滤。这些都不单独足够。
如果你正在评估计算机使用部署,而供应商没有从系统卡中向你报价具体的、量化的提示词注入抵抗力数字,要求他们提供。缺少该数据本身就是一个答案。