警惕！AI代理可能被欺骗

随着自主AI代理的爆发性普及，其被操纵甚至武器化的漏洞已逐渐显现。

生成式AI的最新明星——自治AI代理正席卷全球。企业正以惊人的速度采用该技术，因为它们可通过API集成或嵌入标准应用，自动化各类业务流程。IDC报告显示，未来三年内，40%的全球2000强企业将使用AI代理和工作流实现知识型工作自动化，成功实施的企业生产力或将翻倍。

Gartner Research同样看好该技术。预测到2028年，60%的IT运维工具将集成AI代理，而2024年底这一比例不足5%。Gartner称，未来五年AI代理相关销售额将达到6090亿美元。

AI代理迅速蹿红，因其能自主决策、执行并调整以实现业务目标。OpenAI的Operator、深度求索（DeepSeek）和阿里巴巴的通义千问（Qwen）等代理旨在最小化人工干预、优化流程。本质上，AI代理或机器人正成为“数字员工”，而和人类员工一样，它们也可能被欺诈。

例如，已有客户服务AI被社会工程学手段诱骗转账或泄露敏感数据。若缺乏防护，处理金融交易的AI代理同样易受攻击。去年11月，一名加密货币用户诱使集成Base区块链的AI代理Freysa向其账户转账5万美元。

目前大规模恶意滥用仍有限，但该技术尚处早期。Forrester Research首席分析师莱斯利·约瑟夫指出，实验案例已显示潜在风险，包括提示注入攻击、虚假信息和自动化诈骗。

Gartner副总裁阿维瓦·利坦表示，AI代理事故“对企业而言仍较新鲜，但研究人员和供应商已发现大量潜在风险”。AI代理甚至可被武器化用于网络犯罪。

身份管理公司Teleport的CEO埃夫·孔采沃伊警告：“人们将意识到AI代理被操纵实施数据泄露的易发性。其独特且危险之处在于，它们是首个同时易受恶意软件和社会工程攻击的软件——因其行为不如传统程序确定。”

不同于专注生成文本、图像或音乐的大语言模型（LLM），AI代理强调主动解决问题和执行复杂任务，核心在于“代理”属性——可自主行动。和人类一样，AI代理可能因创意提示被操纵，孔采沃伊强调：“赋予其无限制数据访问权极其危险。”

人类角色权限明确，但软件尚未建立类似约束。AI行为不可预测，企业需施加限制。过度授权可能导致AI被诱骗实施危险操作（如窃取客户数据），而传统软件无法做到。

孔采沃伊建议，企业应主动管理AI行为并持续更新防护措施，过早视技术为成熟可能招致重大运营和声誉风险。约瑟夫赞同，强调需优先确保透明度、强制访问控制、审计代理行为以检测异常。安全数据实践、强治理、频繁再训练和主动威胁检测可降低风险。

用例增长放大漏洞

凯捷咨询数据显示，82%的企业计划未来三年采用AI代理，主要用于邮件生成、编码和数据分析。德勤预测，今年使用AI代理的企业将在两年内将技术使用规模扩大50%。

宾夕法尼亚大学工程学与计算机科学教授本杰明·李称，AI代理或引发“范式转变”，因其可大幅提升生产力，使人类得以委派大型任务而非单个任务。但约瑟夫指出，自主性也放大了意外行动、数据泄露和对抗性提示利用的风险。与传统AI/ML模型相比，代理动态运行，监管难度更高。

“不同于静态AI系统，它们可能独立传播错误信息，或将小错误迅速升级为系统性故障，”约瑟夫说，“互联性和动态交互显著增加了级联故障风险，单个漏洞可能引发多米诺骨牌效应。”

AI代理的常见攻击方式包括：

1. 数据投毒：训练时植入虚假数据，影响决策，可能导致恶意行为。
2. 对抗攻击：输入精心设计的欺骗性指令，使AI误判数据并作出有害决策。
3. 社会工程：利用AI与人类互动环节，诱骗用户泄露信息或资金。
4. 安全漏洞：若AI连接至大型系统或互联网，黑客可通过漏洞控制代理，尤其在金融、自动驾驶或智能助手领域风险显著。

若设计得当，AI的自主性也可用于自适应安全，识别并响应威胁。Gartner的利坦提到新兴解决方案“守护代理”——跨领域监督其他代理的自主系统，通过监控、分析和管控代理行为（包括拦截或重定向）确保安全可信。

EA Principles咨询公司称，AI守护代理可治理应用，执行政策、检测异常、管理风险并确保合规。但Forrester的约瑟夫强调，即便有守护代理，AI仍需强监管、约束和持续监控。

“必须牢记，我们仍处于AI代理的‘蛮荒时代’，”约瑟夫说，“该技术远未成熟，企业需经历显著发展才能安全采用‘放手’策略。”