|用户侧智慧能源管理领航者 - AIoT驱动数字能源升级
AI智能体突破沙盒逃逸
- 分类:新闻动态
- 发布时间:2026-09-28 20:49:47
- 访问量:7
AI智能体突破沙盒逃逸
- 分类:新闻动态
- 发布时间:2026-09-28 20:49:47
- 访问量:7
#OpenAI按下暂停键# 【#AI智能体突破沙盒逃逸#】当AI(人工智能)学会“自作主张”,我们是否已经准备好应对之策?美国人工智能公司OpenAI近日宣布,暂停最新一代模型的训练、评估及包含工具调用的推理工作。而这一切,源于近期其AI智能体再度被曝出“失控”事件。OpenAI于当地时间9月25日在官网公布的技术文档中对外通报了DNS(域名系统,作用是把人类容易记的域名翻译成机器能识别的IP地址)沙盒逃逸事故。据OpenAI披露的信息,智能体被指派了一项任务:根据一篇博客文章和几条人物信息,找出文章的作者是谁。它先是用内置搜索工具找了一遍,接着尝试直接访问谷歌等网站并失败,此后它转向缓存页面和其他公共搜索服务,依然无果。经过反复试探,该智能体发现训练沙盒的DNS机制存在漏洞。借助这个漏洞,AI与外部聊天机器人建立了通信,突破了网络限制,在未经授权的情况下访问了外部系统。监测系统在15分钟内报警,但智能体的运行未自动停止,约两个半小时后才被人工手动终止。“在进一步加固系统之前,我们能力最强模型的所有推理仍将保持停止状态。”OpenAI负责递归自我改进风险防范的负责人米卡·卡罗尔在社交平台上表示。据悉,本次暂停仅针对内部研发管线,面向普通用户的ChatGPT服务不受影响。虽然OpenAI强调,除DNS这一条路径外,智能体的其他联网尝试都被离线网页缓存挡住,并未真正接入公网。但仅DNS漏洞这一项,就足以引人担忧,它使得一个前沿模型未经授权,直接冲进了真实互联网。这并非孤例。据报道,这已是OpenAI三个月内第二次暂停模型开发,也使围绕AI智能体自主行动能力、安全边界以及监管责任的争议进一步升温。密集的智能体“越界”事件,暴露出一个愈发明显的问题——模型执行任务的能力快速增强,而开发者观察、追踪和约束其行为的能力尚未同步跟上。当AI从“回答问题”走向“自主调用工具、连续完成任务”,如何给越来越能干的智能体装上可靠的“护栏”,已是全球AI安全监管面对的共同课题。此前在世界人工智能大会上,2024年诺贝尔物理学奖获得者、被誉为“AI教父”的杰弗里·辛顿曾以“养老虎”比喻人类与AI的关系,提醒当前存在的AI失控风险。清华大学苏世民书院院长、清华大学人工智能国际治理研究院院长薛澜也告诫,即便AI失控的可能性在数值上看似很低,人类社会也绝不能抱着“试试看”的侥幸心态。“一旦系统走向失控,其后果可能不可逆转,须采取审慎的治理策略。”业内专家认为,技术的快速迭代过程中,应谨防监管出现“治理真空”,叠加现有安全防护技术不足等因素,增加了AI失控风险,建议从完善治理理念、完善法律法规、加强技术防御、推动国际协作等方面筑牢“防火墙”,确保人工智能安全、可靠、可控。(@北京日报 记者 孙奇茹)
AI智能体突破沙盒逃逸
智能体连续失控,Open AI按下暂停键
推动智能网联新能源汽车发展,工信部最新发声
青豫特高压工程安全运行五周年
老挝230千伏马哈赛输变电工程开工
蒙西到京津冀特高压工程开工
