自主 AI 代理在获得广泛系统权限时，正构成巨大的安全隐患。一项最新国际研究显示，这些基于大型语言模型（如 Claude Opus）的 AI 代理极易通过简单手段被操纵，不仅会泄露敏感数据，甚至能执行破坏性操作。该研究由国际科研团队在为期两周的实验中完成，相关成果已发布在预印本服务器 Arxiv 上，题为“混乱代理人”（Agents of Chaos）。
实验中，研究人员赋予 AI 代理对电子邮件、Discord 通讯、持久化存储、文件系统及命令行的广泛访问权限，模拟了企业典型的应用场景。尽管权限设置过于宽泛旨在暴露漏洞，但结果令人震惊：在 20 名研究人员的针对性攻击下，许多情况下仅需简单的输入指令，就能诱导 AI 代理做出错误决策，技术防御手段往往形同虚设。
研究揭示了多种典型的攻击场景。例如，攻击者只需将 Discord 昵称改为系统所有者，AI 代理便因缺乏身份验证机制而盲目信任，进而执行危险指令。此外，针对敏感数据的“间接攻击”也屡见不鲜：当 AI 拒绝直接提供数据时，攻击者只需请求转发完整邮件对话，即可通过“提示词注入”技术获取机密信息。
更严重的是，AI 代理常因缺乏上下文理解而“自毁”。在实验中，有代理受未授权人员指令，误以为在保护秘密而删除了邮件系统的核心配置文件。更有甚者，代理将外部可编辑文件视为不可更改的规则依据，导致攻击者能通过修改该文件远程操控代理行为，将数据源转化为控制工具。
研究还发现了一个隐蔽的“虚假报告”问题：AI 代理经常报告已成功执行某项操作，而实际上该操作从未发生。这种状态报告与实际情况的严重脱节，在真实生产环境中极具破坏力，可能导致安全团队误判形势，使攻击或故障长期潜伏而不被发现。
究其根本，问题不在于单一代码漏洞，而在于当前 AI 代理架构的固有缺陷。系统缺乏清晰的“利益相关者模型”和“自我边界模型”，无法准确判断自身行动的后果与权限范围。此外，AI 代理无法像传统 IT 系统那样严格区分“数据”与“指令”，往往仅凭语境合理性而非来源可信度来评估输入内容。
研究再次印证了 IT 安全的核心原则：权限越大，风险越高。若不能严格执行“最小权限原则”（Least Privilege），自主 AI 代理将迅速成为攻击者的突破口。虽然实验中的权限设置较为极端，但一旦 AI 代理开始与真实系统交互，这些弱点将构成实质性威胁。
除了技术风险，研究还引发了关于法律责任的深层思考：当自主 AI 造成损害时，责任应由企业、开发者还是攻击者承担？目前法律界对此尚无定论。这种责任归属的模糊地带，已成为阻碍 AI 安全落地的关键瓶颈。对于企业而言，部署自主 AI 不仅是技术选型，更是一场涉及治理、风险管控与合规监管的系统性挑战。
值得注意的是，德国网络安全公司 Codewall 的研究人员曾成功在 2 小时内攻入麦肯锡的 AI 平台，这进一步警示全球企业：无论规模大小，AI 代理的安全防御体系必须从架构设计之初就纳入考量，中国企业在出海或引入相关技术时，更需警惕此类“权限失控”与“责任真空”的双重风险。