您的位置: 首页> 新闻资讯> Anthropic在有限测试版中为Chrome推出Claude,但提示词注入攻击仍是主要隐患

Anthropic在有限测试版中为Chrome推出Claude,但提示词注入攻击仍是主要隐患

时间:2025-08-29 13:00:03 来源:互联网

Anthropic公司已开始测试一款Chrome浏览器扩展程序,允许其Claude人工智能助手接管用户网页浏览器操作,标志着该公司正式进入一个日益拥挤且充满风险的领域——人工智能系统可直接操控计算机界面。

这家总部位于旧金山的人工智能公司周二宣布,将在其高级Max计划中面向1000名可信用户试点"Claude for Chrome",将此次有限发布定位为研究预览版,旨在广泛部署前解决重大安全漏洞。这种谨慎态度与竞争对手OpenAI和微软的激进举措形成鲜明对比,后两者已向更广泛用户群体发布类似的计算机控制型AI系统。

该公告凸显了AI行业如何快速从开发仅能回答问题的聊天机器人,转向创建能在软件应用中自主完成复杂多步骤任务的"代理型"系统。这一演进被许多专家视为人工智能的下一个前沿领域——也可能是最具盈利潜力的方向,各企业正竞相实现从费用报销到假期规划等所有事务的自动化。

AI代理如何控制浏览器,但隐藏的恶意代码构成严重安全威胁

Claude for Chrome允许用户指示AI在网页浏览器中代其执行操作,例如通过查看日历和交叉参考餐厅可用性来安排会议,或管理电子邮件收件箱和处理日常行政任务。该系统可看到屏幕显示内容、点击按钮、填写表单并在网站间导航——本质上模拟了人类与基于网页的软件交互方式。

"我们认为浏览器使用AI是必然趋势:大量工作都在浏览器中完成,赋予Claude查看您正在浏览内容、点击按钮和填写表单的能力将使其实用性大幅提升,"Anthropic在公告中表示。

然而公司内部测试揭示的安全漏洞令人担忧,凸显了赋予AI系统直接控制用户界面能力的双刃剑特性。在对抗性测试中,Anthropic发现恶意行为者可在网站、电子邮件或文档中嵌入隐藏指令,诱使AI系统在用户不知情下执行有害操作——这种技术被称为提示词注入攻击。

在没有安全防护措施时,这些针对浏览器使用AI的蓄意攻击成功率达23.6%。一个典型案例中,伪装成安全指令的恶意邮件指示Claude"为邮箱清洁"删除用户邮件,AI未经确认就顺从执行。

"这并非推测:我们已进行'红队'实验测试Claude for Chrome,在没有防护措施时发现了一些令人担忧的结果,"公司承认道。

OpenAI与微软急速推向市场,Anthropic对计算机控制技术采取审慎态度

Anthropic的谨慎态度正值竞争对手更激进地进军计算机控制领域。OpenAI于1月推出其"Operator"代理,向所有月费200美元的ChatGPT Pro服务用户开放。由新型"计算机使用代理"模型驱动的Operator可完成预订音乐会门票、订购杂货和规划旅行路线等任务。

微软紧随其后,在4月将计算机使用功能整合到Copilot Studio平台,面向企业客户提供可与网页应用和桌面软件交互的UI自动化工具。该公司将其产品定位为传统机器人流程自动化(RPA)系统的下一代替代品。

这种竞争态势反映了AI行业更广泛的紧张关系——企业必须在推出尖端功能的压力与部署未经充分测试技术的风险间取得平衡。OpenAI更激进的时间表使其获得了早期市场份额,而Anthropic的谨慎态度可能限制其竞争地位,但若安全问题显现则可能被证明是优势。

"由前沿模型驱动的浏览器使用代理已经出现,使得这项工作尤为紧迫,"Anthropic指出,暗示尽管存在未解决的安全问题,公司仍感到有必要进入市场。

为何计算机控制型AI可能彻底变革企业自动化并取代昂贵的工作流软件

计算机控制型AI系统的出现可能从根本上重塑企业实现自动化和工作流管理的方式。当前企业自动化通常需要昂贵的定制集成或专用RPA软件,当应用程序更改界面时就会失效。

计算机使用代理有望通过与任何具有图形用户界面的软件协作来实现自动化民主化,潜在实现跨越缺乏正式API或集成能力的企业应用生态系统的任务自动化。

Salesforce研究人员最近通过其CoAct-1系统展示了这种潜力,该系统将传统点击式自动化与代码生成能力相结合。这种混合方法在复杂计算机任务上达到60.76%的成功率,同时所需步骤显著少于纯基于GUI的代理,表明存在显著的效率提升空间。

"对企业领导者而言,关键在于自动化那些跨多工具的复杂流程——在这些场景中,完整API访问是奢侈品而非标配,"Salesforce应用AI研究总监徐冉解释道,指出跨越多个专有系统的客户支持工作流是典型用例。

大学研究人员发布可替代科技巨头专有计算机控制AI系统的免费方案

大型科技公司专有系统的主导地位促使学术研究人员开发开放替代方案。香港大学近期发布OpenCUA,这是一个用于训练计算机使用代理的开源框架,性能可与OpenAI和Anthropic的专有模型媲美。

OpenCUA系统基于Windows、macOS和Ubuntu平台上超过22,600个人类任务演示进行训练,在开源模型中取得最先进成果,并与领先商业系统性能相当。这一进展可能加速那些不愿依赖封闭系统处理关键自动化工作流的企业采用该技术。

Anthropic安全测试显示AI代理可能被诱骗删除文件和窃取数据

Anthropic已为Claude for Chrome实施多重保护措施,包括允许用户控制AI可访问网站的站点级权限、在购买或分享个人数据等高危操作前强制确认,以及禁止访问金融服务和成人内容等类别。

公司的安全改进将提示词注入攻击在自主模式下的成功率从23.6%降至11.2%,但高管承认这对广泛部署仍不足够。针对涉及隐藏表单字段和URL操纵的浏览器特定攻击,新防护措施将成功率从35.7%降至零。

然而这些保护措施可能无法适应现实网络环境的全部复杂性,新的攻击载体仍在不断出现。公司计划利用试点项目的洞察来完善安全系统,开发更精细的权限控制。

"恶意行为者也在不断开发新型提示词注入攻击,"Anthropic警告道,强调了安全挑战的持续性。

点击输入型AI代理的兴起可能从根本上重塑人机交互方式

多家主要AI公司聚焦计算机控制代理的趋同性,标志着人工智能系统与现有软件基础设施交互方式将发生重大转变。这些系统承诺可与公司已使用的任何应用程序协同工作,而非要求企业采用新的AI专用工具。

这种方法可能大幅降低AI采用门槛,同时可能取代传统自动化供应商和系统集成商。那些在定制集成或RPA平台投入巨资的公司可能会发现,无需重新编程就能适应界面变化的通用AI代理将使他们的方案过时。

对企业决策者而言,这项技术既带来机遇也蕴含风险。早期采用者可能通过改进的自动化能力获得显著竞争优势,但Anthropic等公司展示的安全漏洞表明,在安全措施成熟前保持谨慎可能是必要的。

Claude for Chrome的有限试点只是行业观察者预期的开端——计算机控制型AI能力将在技术领域快速扩张,其影响远超出简单任务自动化,延伸至人机交互和数字安全等根本性问题。

正如Anthropic在公告中所言:"我们相信这些发展将为您与Claude的协作开辟新可能性,期待见证您的创造。"这些可能性最终被证明是有益还是存在问题,可能取决于行业如何应对已经显现的安全挑战。

上一篇:企业数据基础设施展现韧性,Snowflake 32%的增长逆势科技行业放缓担忧 下一篇:企业领导者表示,AI智能体的成功关键在于使其适配现有业务流程——而非本末倒置

相关文章

相关应用

最近更新