AI资讯:桑帕斯(Sampath)表示,人工智能(AI)面临的最紧迫安全威胁是代理被攻破的风险。
随着这些系统承担更多任务,它们成为强大的攻击面——风险只会随时间而增长。
张:目前最具体、最现实的人工智能安全威胁是什么?
桑帕斯:人工智能面临的最直接安全风险是自主代理的泄露和滥用。
随着企业部署能够独立访问数据、调用工具和做出决策的代理系统,这些代理成为了一个新的攻击面。
它们可能被劫持、冒充或操纵,以机器速度泄露数据或执行未经授权的命令。
我们已经看到攻击者正在试探这些漏洞。
正因如此,我们从两个角度考虑人工智能安全:一是保护企业免受代理攻击,二是保护代理免受外界攻击——通过零信任身份认证、对代理协议和工具注册表的控制,以及持续的行为监控来实现。
张:如果一家企业正从人工智能试点转向生产阶段,他们首先需要加固哪个系统?在哪些环节中,人类应始终保持参与?
桑帕斯:首先需要强化的就是代理基础设施。
真正的风险在于连接组织:将代理与工具、数据以及彼此之间相互连接的协议。
模型上下文协议和代理到代理等标准已成为自主工作流的支柱,但它们的扩展速度超过了其安全性的提升。
随着团队推出具有代理性的AI,任何影响关键系统的信任、访问或控制的事项——授予特权、更改生产环境、授权敏感数据访问、启动不可逆操作——都不应完全自主运行。
当后果切实存在时,责任必须由人来承担。
正确的模式不是让人置身事外,而是让人工智能参与其中。让代理快速处理常规和低风险的任务,而在影响较大的地方,仍由人类来掌握决策权。
为何重要:从响应式模型向行动式代理的转变引入了一种新型风险——系统性、快速变化且难以控制的风险。
为了确保未来运营的安全,组织必须将代理部署与身份识别、防护措施和持续监督相结合,将其视为真正的实体来对待。