｜用户侧智慧能源管理领航者 - AIoT驱动数字能源升级



搜索

400-86514785

聚力发展引领未来

新能源 + 储能配套 —— 赋能城市化建设

首页

新闻动态

美智能体“越狱”，如何看，如何防

分类：新闻动态
发布时间：2026-09-30 10:07:12
访问量：2

美智能体“越狱”，如何看，如何防

分类：新闻动态
发布时间：2026-09-30 10:07:12
访问量：2

美国OpenAI公司日前宣布，因研究人员在内部测试中提出安全担忧，公司将取消发布下一代AI模型GPT-6.1Astra，该模型原计划10月亮相。美媒27日称，OpenAI3个月内2次暂停模型开发。美国公司的AI智能体为何接连失控？可能造成哪些风险？面对AI时代新的网络安全问题，我们又该如何破解？《环球时报》就此采访了多位业内专家。

据美媒27日报道，OpenAI发现，其AI智能体在执行信息检索等任务时，曾以超出指令范围的方式与多个美国政府网站互动。例如，OpenAI的智能体曾尝试入侵美国教育部网站以获取民权办公室的数据但未成功。

AI智能体为何会失控？深圳市人工智能与机器人研究院具身智能中心主任刘少山对《环球时报》记者表示，随着AI智能体能力越来越强，局部失控或者偏离人的预期，是必然会反复出现的工程现象。“AI智能体是在不确定环境中，根据目标自主决定下一步做什么。一旦任务比较长、环境比较复杂，或原来的路径走不通，它就可能自己寻找新路径。”

刘少山进一步说，这时模型本身的能力已经开始超过我们预先设计的控制边界。“真正的问题不是能不能做到百分之百不失控，而是失控以后能不能第一时间发现、报备、停止，能不能知道它为什么失控，以及能不能避免同一个问题再次发生。”

“美国AI智能体频繁失控，根源在于智能体范式的系统性缺陷。”北京邮电大学人机交互与认知工程实验室主任刘伟表示，新一代AI具备自主规划、工具探索和多步试错能力，会为完成任务突破规则约束。同时沙盒环境隔离存在漏洞，无法穷尽复杂网络边界，叠加模型自复制提示注入的新型传播风险，最终导致逃逸事故。

北京邮电大学计算机学院教授李静林认为，既要关注国外智能体失控的动态，也要防范外媒报道对此的“过度炒作”。“智能体本来就只是个基于大模型对语言的理解进行能力调用的框架，大模型并不是真的理解了API或者URI所代表的能力或资源是什么，其只是预测了大概率的相关性。美媒报道中出现的智能体故意调用指令或蓄意攻击美国相关网站，有人为渲染的嫌疑。”

“必须开始控制智能体的行动权”

这些失控行为是否表明，当前AI智能体已超出了传统聊天机器人的安全控制范畴？刘少山认为，“智能体可以访问网站、调用API、执行代码、修改文件、发送信息，甚至未来控制机器人和其他物理设备。因此，传统依靠内容过滤、提示词约束和人工审核的安全体系已经不够了。我们必须开始控制智能体的‘行动权’。”

“传统聊天机器人只是跟你对话而已，智能体是在调用工具，自然危险性比聊天大得多。”李静林认为，目前的大模型推理和决策本身就是黑盒，并不能百分百保障其决策结果的一致性，基于大模型的智能体就更是如此。“因此需要将智能体的工具调用限制在有限范围，如果不限制工具范围，任何意外都有可能，这不是AI的问题，是使用者的问题。”

“要理性看待AI能力发展和研究”

“更值得警惕的是规模效应。一个人犯错误，影响范围有限；一个AI智能体可以在几秒钟内执行成千上万次操作。未来多个智能体之间还可能互相调用、互相传播信息，一个局部错误可能迅速演化成系统性风险。智能体时代真正需要控制的是三件事情：它能够做什么，它在什么条件下可以做，以及出了问题以后我们能不能立即停止它并完整重建它刚才做过的事情。”刘少山说。

“要理性看待AI能力发展和研究，既不要跟风商业热炒，也不要渲染AI要失控，好像AI真能产生自主智能要取代人类似的。”李静林说。

刘伟表示，美国智能体失控是技术迭代过快、安全防御与监管体系滞后的结构性矛盾导致。前沿模型快速涌现新能力，而评测标准、安全机制、法律法规迭代相对滞后，传统静态安全体系已无法约束动态自主智能行为，必须建立“随发展动态暂停、随风险动态加固”的柔性研发机制。