研究人员发布了对所谓"操作系统代理"（OS Agents）迄今最全面的研究报告——这类人工智能系统能通过直接交互界面自主控制电脑、手机和网页浏览器。这份30页的学术综述已被顶级学术会议计算语言学协会接收，勾勒出这个吸引科技巨头数十亿美元投资的快速进化领域。
"创造如《钢铁侠》中贾维斯般全能AI助手的梦想长期令人神往，"研究团队写道，"随着（多模态）大语言模型的发展，这个梦想正接近现实。"
这份由浙江大学和OPPO人工智能中心领衔的研究发布之际，正值科技巨头竞相部署能执行复杂数字任务的AI代理。OpenAI近期推出"Operator"，Anthropic发布"Computer Use"，苹果在"Apple Intelligence"中增强AI功能，谷歌则推出"Project Mariner"——这些系统均旨在实现计算机交互自动化。
科技巨头竞相部署控制桌面的AI
学术研究转化为消费级产品的速度即使按硅谷标准也前所未有。研究显示相关领域呈现爆发式增长：专为计算机控制研发的60多个基础模型和50个代理框架，且2023年后发表速率急剧加快。
这不仅是渐进式进步。我们正见证能像人类一样真正理解并操纵数字世界的AI系统崛起。当前系统通过截取屏幕画面，运用先进计算机视觉理解显示内容，然后执行点击按钮、填写表格、应用间跳转等精确操作。
"操作系统代理能自主完成任务，有望显著改善全球数十亿用户的生活，"研究人员指出，"想象这些代理能无缝处理网购、旅行预订等日常事务的世界。"
最先进的系统能处理跨应用的复杂多步骤工作流——预订餐厅后自动添加至日历，再设置提前出发的交通提醒。人类需数分钟点击输入的操作，现在无需干预即可秒级完成。
安全专家为何对AI控制企业系统拉响警报
对企业技术负责人而言，生产力提升的承诺伴随严峻现实：这些系统代表着全新的攻击面，多数机构尚未做好防御准备。
研究人员用"安全与隐私"的学术语言着重警示了风险："操作系统代理面临这些风险，尤其考虑到其在存有用户数据的个人设备上的广泛应用。"
报告记录的攻击手段如同网络安全噩梦。"网页间接提示注入"让恶意行为者能在网页嵌入劫持AI代理行为的隐藏指令。更令人担忧的是"环境注入攻击"，看似无害的网页内容能诱骗代理窃取数据或执行未授权操作。
试想：能访问企业邮箱、财务系统和客户数据库的AI代理，可能被精心设计的网页操纵以泄露敏感信息。传统安全模型围绕能识别钓鱼攻击的人类用户构建，当"用户"变成信息处理方式迥异的AI系统时就会失效。
研究揭示了防御准备的显著缺口。尽管存在通用AI代理安全框架，但"针对操作系统代理的防御研究仍然有限"。这不只是学术担忧——对考虑部署该系统的机构都是迫在眉睫的挑战。
现状核查：当前AI代理仍难应对复杂数字任务
尽管炒作火热，研究对性能基准的分析揭示了制约其短期广泛应用的显著局限。
不同任务和平台的成功率差异悬殊。某些商业系统在特定基准测试中成功率超50%（对新兴技术已属惊艳），但在其他任务中表现挣扎。研究人员将评估任务分为三类：基础"GUI grounding"（理解界面元素）、"信息检索"（查找提取数据）和复杂"代理任务"（多步骤自主操作）。
模式说明问题：当前系统擅长简单明确任务，但在构成现代知识工作的复杂情境化工作流前仍显不足。它们能可靠点击特定按钮或填写标准表格，但需要持续推理或适应意外界面变化的任务仍具挑战。
这种性能差距解释了为何早期部署集中于狭窄的高频任务而非通用自动化。该技术尚无法在复杂场景替代人类判断，但处理常规数字事务的能力正持续增强。
当AI代理学会为每个用户自我定制时会发生什么
研究中最引人入胜且具变革潜力的挑战，是研究人员所称的"个性化与自我进化"。与当今将每次交互视为独立的无状态AI助手不同，未来的操作系统代理需从用户交互中学习，并逐步适应个体偏好。
"开发个性化操作系统代理是AI研究的长期目标，"作者写道，"个人助手应能持续适应用户偏好并提供增强体验。"
这种能力可能彻底改变人机交互方式。想象一个学习你邮件写作风格、理解日程偏好、知晓喜爱餐厅，并能代表你做出日益复杂决策的AI代理。虽然潜在生产力提升巨大，但隐私影响同样深远。
技术挑战非常严峻。研究指出需要更好的多模态记忆系统来处理文本外的图像和语音，这对现有技术构成"重大挑战"。如何构建既记忆用户偏好，又不全面监控数字生活的系统？
对评估该技术的企业高管而言，个性化挑战既是最大机遇也是最大风险。率先解决的机构将获得显著竞争优势，但若处理不当，隐私和安全影响可能极其严重。
构建能像人类一样操作电脑的AI助手竞赛正在加速。尽管安全、可靠性和个性化等基础挑战尚未解决，但发展轨迹已很清晰。研究人员维护着跟踪进展的开源库，承认"操作系统代理仍处发展早期阶段"，但"快速进步持续带来新方法和应用"。
问题不在于AI代理是否会改变人机交互方式，而在于当变革来临时我们是否做好准备。随着技术飞速进步，构建正确安全和隐私框架的时间窗口正在快速收窄。
