片

AI Agent正以惊人的速度发展。越来越多的企业将其用于药物研发、客户服务、市场营销、代码编写及科研等复杂任务——这些工作过去完全由人类完成。数据显示，78%的企业已计划将AI Agent投入实际生产。显然，2025年将成为“AI Agent元年”。

 

然而，技术创新往往伴随新的风险。随着AI Agent深度融入企业运营，它们也引入了全新的安全挑战和攻击路径。AI运行时安全（AI Runtime Security）应运而生，致力于解决这些问题。本期【CXO视点】将为您详解如何通过AI运行时安全（AI Runtime Security）设计保护AI Agent。

图片

 

AI运行时安全旨在为各类AI应用提供防护，无论是基于低代码/无代码平台（如Microsoft Copilot Studio、VoiceFlow）开发的AI Agent，还是通过定制化工作流构建的AI系统。它通过以下核心功能抵御潜在威胁：

 

● 提示注入攻击：攻击者通过伪装成合法用户输入的恶意指令操控生成式AI系统。

● 敏感数据泄露：防止训练数据通过应用输出意外暴露。

● 恶意URL诱导：攻击者可诱骗AI模型生成包含敏感数据的URL（如指向攻击者控制的域名），当用户或应用访问该URL时，数据即被窃取。

 

为确保AI Agent在高效运行的同时兼顾安全，AI运行时安全API内置多重防护机制，能够在降低风险的同时保持性能。

 

AI Agent与LLM、聊天机器人的本质差异

AI Agent远非传统问答式聊天机器人可比。它们不仅响应请求，更能自主感知、推理、决策并执行行动，具体表现为：

① 环境感知：通过数据流、系统输入或外部信息源实时获取环境信息。

② 逻辑推理：运用算法分析数据，模拟人类解决问题的思维过程。

③ 自主决策：基于推理结果选择最优行动路径，如解决复杂问题或优化流程。

④ 独立执行：无需人工干预即可动态适应环境变化，持续达成目标。

 

这种智能化、自适应与自主性使AI Agent成为企业的强大工具，但同时也带来了独特的安全挑战。

 

AI Agent的新型安全威胁

AI Agent的架构包含以下核心模块，攻击者可针对其薄弱环节发起攻击：

● 短期记忆：存储当前任务和临时目标信息。

● 长期记忆：积累历史经验与知识，支持持续学习与迭代优化。

● 规划模块：制定策略以实现任务目标。

● 工具调用：整合外部资源辅助决策与执行。

 

AI Agent是一个组织良好的系统，其记忆、规划和工具协同工作，帮助其思考、学习和自主行动。它是一个动态、不断演变的系统，能够自行解决问题并随时间改进。一些Agent在多AI Agent系统中运行，其中多个AI Agent协同工作以解决复杂任务，从而提高了它们的实力和脆弱性。

 

攻击者如何利用AI Agent？

尽管AI Agent功能强大，但它们也带来了一系列安全挑战。这些挑战在于让Agent改变其行为，并按照攻击者的最佳利益行事，而不是按照组织的最佳利益行事。这些利用手段包括但不限于以下方面：

● 上下文数据操纵：通过操纵记忆系统，攻击者可以破坏关于过去交互和上下文数据的存储信息。一旦注入虚假信息或修改现有内存内容，攻击者就可以迫使Agent做出错误决策、忽略安全协议或违背用户利益而看似正常运行。这种攻击的持久性使其特别危险，因为损坏的内存可以跨多个会话和交互影响 Agent行为。

 

● 工具利用攻击：通过精心设计的提示，攻击者可以欺骗AI Agent无意中误用合法工具和访问权限。这种利用可以启用未经授权的敏感数据或系统资源访问，而不会触发标准安全警报。

 

● 伪造输出扭曲：攻击者可以通过利用AI Agent在面对不完整或模糊信息时做出假设的倾向，故意生成虚假或不可靠的输出。

 

AI Agent安全的未来之路

今年，Palo Alto Networks（派拓网络）专注于增强AI Agent的安全性，以更好地应对我们已发现的新兴威胁。除了加强这些现有保护外，我们还在探索创新，使组织能够更容易地发现、保护和监控与AI Agent相关的威胁。

 

我们的目标是确保AI Agent在演变并越来越融入企业运营的过程中保持安全和值得信赖。这种主动方法将帮助企业领先于新威胁，并确保AI技术的持续安全部署。

 

Ignite China 2025 年度盛会现场将进行AI Runtime安全演示，如您想要了解更多AI运行时安全API如何为您的AI系统提供实时防护，我们诚邀您共襄盛举，携手开启AI技术在企业安全领域的新篇章。