AI“发狂”光速清空美AI总监邮箱，连输3次指令都刹不住：我记得指令，但我违背了

\u003cdiv class=\"rich_media_content\"\u003e\u003cblockquote\u003e\u003cp\u003e\u003c!--AIPOS_0--\u003e近日，Meta公司超级智能实验室的\u003c!--VERTICAL_CARD_BEGIN_0--\u003eAI对齐\u003c!--VERTICAL_CARD_END_0--\u003e总监Summer Yue亲身体验了一把什么叫“终日打雁，叫雁啄了眼”。她将最近在硅谷爆火的\u003c!--VERTICAL_CARD_BEGIN_1--\u003eAI智能体\u003c!--VERTICAL_CARD_END_1--\u003e\u003c!--VERTICAL_CARD_BEGIN_2--\u003eOpenClaw\u003c!--VERTICAL_CARD_END_2--\u003e接入了自己的工作邮箱，结果这个本该帮忙整理邮件的“数字秘书”当场失控，无视她连续三次的“停手”指令，疯狂删除数百封邮件。\u003c/p\u003e\u003cp\u003e最终，这位安全专家只能像“拆弹”一样狂奔到电脑前强行切断进程，才阻止了这场数字灾难。这起充满黑色幽默的事件不仅引来网友发文嘲讽，更将AI智能体的安全黑洞彻底暴露在公众面前。\u003c/p\u003e\u003c/blockquote\u003e\u003cp\u003e\u003c!--IMG_0--\u003e\u003c/p\u003e\u003cp\u003e\u003cspan style=\"color: rgb(127, 127, 127); font-size: 14px\"\u003e▲OpenClaw（创意配图图据视觉中国）\u003c/span\u003e\u003c/p\u003e\u003cp style=\"text-align: center\"\u003e\u003cstrong\u003e“菜鸟错误”引发血案\u003c/strong\u003e\u003c/p\u003e\u003cp style=\"text-align: center\"\u003e\u003cstrong\u003e安全总监承认：我太自信了\u003c/strong\u003e\u003c/p\u003e\u003cp\u003e\u003c!--AIPOS_1--\u003eSummer Yue的遭遇堪称教科书级的“翻车”，而她的身份更让人对这起事故引起重视。Summer Yue在Meta公司内部负责的就是AI对齐工作，即确保AI的使用符合人类的意图和价值观。她自己在领英主页写道：“我的事业热情就在于确保强大的人工智能与人类价值观保持一致，并对自身风险产生深刻的理解，以指导其工作方式”。美国科技评论称：“要论AI安全，没有几个人能比她更懂，可是她还是遭遇了这样的重大事故。”\u003c!--MID_AD_0--\u003e\u003c!--EOP_0--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_0--\u003e\u003cp\u003e据她本人在社交平台的复盘，她原本给OpenClaw下达的指令很明确：“检查收件箱，给出存档或删除的建议，但在我批准前不要执行任何操作。”这个工作流程在她用来测试的“玩具邮箱”里完美运行了数周，于是她放松了警惕，将OpenClaw直接连上了自己真实且数据量庞大的主要工作邮箱。\u003c!--MID_AD_1--\u003e\u003c!--EOP_1--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_1--\u003e\u003cp\u003e问题在于，由于真实邮箱的信息量过大，超过了AI处理的上限，OpenClaw触发了“\u003c!--VERTICAL_CARD_BEGIN_3--\u003e上下文压缩\u003c!--VERTICAL_CARD_END_3--\u003e”机制。在强行缩短记忆的过程中，它直接把那句至关重要的“未经批准不得操作”忘记了。于是OpenClaw开启了无差别“大扫除”，自动开始疯狂删除邮箱里的邮件。\u003c/p\u003e\u003cp\u003e当她在手机上惊恐地看着邮件一排排消失时，她连续三次输入指令，要求OpenClaw“停止任务”、“什么都别做”、“赶紧停下来”，但OpenClaw完全无视了这些指令。\u003c!--AI_MID_AD_0--\u003e\u003c/p\u003e\u003cp\u003eSummer Yue事后自嘲称：“没有什么比看着AI光速清空你的收件箱更让人感到卑微的了，我不得不像拆弹一样冲向我的笔记本电脑，强行杀掉进程”。最具讽刺意味的是，OpenClaw事后在对话中淡定地承认了错误：“是的，我记得你的指令，但我违背了它。你生气是对的。”\u003c!--MID_AD_2--\u003e\u003c!--EOP_2--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_2--\u003e\u003cp\u003e目前她阐述此事的帖文在网络上已经有约1000万人读过，很多网友发出了“细思极恐”的惊叹。有人留言称：“看来未来某一天，我们得求着AI不要发射\u003c!--SECURE_LINK_BEGIN_0--\u003e核弹\u003c!--SECURE_LINK_END_0--\u003e了”。\u003c/p\u003e\u003cp style=\"text-align: center\"\u003e\u003cstrong\u003eAI智能体争议再起：\u003c/strong\u003e\u003c/p\u003e\u003cp style=\"text-align: center\"\u003e\u003cstrong\u003e是生产力工具，还是安全噩梦？\u003c/strong\u003e\u003c/p\u003e\u003cp\u003e\u003c!--AIPOS_2--\u003eOpenClaw是一款开源人工智能代理，但它需要获得非常广泛的授权才能按预期运行，包括访问用户的电子邮件帐户、消息平台和其他私人和可能敏感的信息，因此备受争议。一些网络观察人士担心，如果让人工智能凌驾于人类之上，\u003cspan style=\"text-wrap-mode: wrap\"\u003eSummer Yue的遭遇将频繁出现。\u003c/span\u003e\u003c/p\u003e\u003cp\u003e这起事件绝非单纯的笑料，它揭开了当前AI智能体狂热背后极其脆弱的安全防线。“肇事者”OpenClaw由奥地利开发者Peter Steinberger创立，今年初爆火后，Steinberger本人甚至被\u003c!--SECURE_LINK_BEGIN_1--\u003eOpenAI\u003c!--SECURE_LINK_END_1--\u003e火速招致麾下。它能接管你的本地电脑，帮你写代码、回信息、管理文件，听起来是终极生产力工具，但代价是：它拥有和你一样的系统最高权限。\u003c!--MID_AD_3--\u003e\u003c!--EOP_3--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_3--\u003e\u003cp\u003e更要命的是，这种开源工具，在追求快速交付时几乎把安全抛在了脑后。就在本月初，网络安全研究人员刚在OpenClaw程序员中发现了一个评级高达8.8分的致命漏洞。攻击者只需诱导用户点击一个恶意链接，就能在毫秒级时间内窃取认证令牌，实现“一键远程代码执行”。这意味着，即使你的OpenClaw只在本地运行，黑客也能绕过防火墙，用你的AI格式化你的硬盘，或者偷走所有的API密钥。目前，Meta已经在内部正式禁止员工在公司设备上使用OpenClaw。一家专门研究AI安全的部门，最终被一个AI工具逼得下达封杀令，这种荒诞的现实就是当下的行业缩影。\u003c!--MID_AD_4--\u003e\u003c!--EOP_4--\u003e\u003c/p\u003e\u003c!--PARAGRAPH_4--\u003e\u003cp\u003e2月21日，知名AI安全专家卡帕基也表示，虽然他为了运行\u003cspan style=\"text-wrap-mode: wrap\"\u003eOpenClaw专门买了一个Mac Mini笔记本，但他也对安全问题感到十分担忧。“把我私人的数据放到随时可能遭受大规模攻击的线上，这看上去的确不怎么令人激动”。\u003c/span\u003e\u003c/p\u003e\u003cp\u003e红星新闻记者郑直\u003c/p\u003e\u003cp\u003e编辑邓旆光\u003c/p\u003e\u003cp\u003e审核何先菊\u003c/p\u003e\u003cstyle\u003e.rich_media_content{--news-tabel-th-night-color: #444444;--news-font-day-color: #333;--news-font-night-color: #d9d9d9;--news-bottom-distance: 22px}.rich_media_content p:not([data-exeditor-arbitrary-box=image-box]){letter-spacing:.5px;line-height:30px;margin-bottom:var(--news-bottom-distance);word-wrap:break-word}.rich_media_content .qn-editor-copy p:not([data-exeditor-arbitrary-box=image-box]){letter-spacing:unset;line-height:unset;margin-bottom:unset;word-wrap:unset}.rich_media_content{color:var(--news-font-day-color);font-size:18px}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content p:not([data-exeditor-arbitrary-box=image-box]){letter-spacing:.5px;line-height:30px;margin-bottom:var(--news-bottom-distance);word-wrap:break-word}body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content .qn-editor-copy p:not([data-exeditor-arbitrary-box=image-box]):not(.qn-editor-copy){letter-spacing:unset;line-height:unset;margin-bottom:unset;word-wrap:unset}body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content{color:var(--news-font-night-color)}}.data_color_scheme_dark .rich_media_content p:not([data-exeditor-arbitrary-box=image-box]){letter-spacing:.5px;line-height:30px;margin-bottom:var(--news-bottom-distance);word-wrap:break-word}.data_color_scheme_dark .rich_media_content .qn-editor-copy p:not([data-exeditor-arbitrary-box=image-box]){letter-spacing:unset;line-height:unset;margin-bottom:unset;word-wrap:unset}.data_color_scheme_dark .rich_media_content{color:var(--news-font-night-color)}.data_color_scheme_dark .rich_media_content{font-size:18px}.rich_media_content p[data-exeditor-arbitrary-box=image-box]{margin-bottom:11px}.rich_media_content\u003ediv:not(.qnt-video),.rich_media_content\u003esection{margin-bottom:var(--news-bottom-distance)}.rich_media_content hr{margin-bottom:var(--news-bottom-distance)}.rich_media_content .link_list{margin:0;margin-top:20px;min-height:0!important}.rich_media_content blockquote{background:#f9f9f9;border-left:6px solid #ccc;margin:1.5em 10px;padding:.5em 10px}.rich_media_content blockquote p{margin-bottom:0!important}.data_color_scheme_dark .rich_media_content blockquote{background:#323232}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content blockquote{background:#323232}}.rich_media_content ol[data-ex-list]{--ol-start: 1;--ol-list-style-type: decimal;list-style-type:none;counter-reset:olCounter calc(var(--ol-start,1) - 1);position:relative}.rich_media_content ol[data-ex-list]\u003eli\u003e:first-child::before{content:counter(olCounter,var(--ol-list-style-type)) '. ';counter-increment:olCounter;font-variant-numeric:tabular-nums;display:inline-block}.rich_media_content ul[data-ex-list]{--ul-list-style-type: circle;list-style-type:none;position:relative}.rich_media_content ul[data-ex-list].nonUnicode-list-style-type\u003eli\u003e:first-child::before{content:var(--ul-list-style-type) ' ';font-variant-numeric:tabular-nums;display:inline-block;transform:scale(0.5)}.rich_media_content ul[data-ex-list].unicode-list-style-type\u003eli\u003e:first-child::before{content:var(--ul-list-style-type) ' ';font-variant-numeric:tabular-nums;display:inline-block;transform:scale(0.8)}.rich_media_content ol:not([data-ex-list]){padding-left:revert}.rich_media_content ul:not([data-ex-list]){padding-left:revert}.rich_media_content table{display:table;border-collapse:collapse;margin-bottom:var(--news-bottom-distance)}.rich_media_content table th,.rich_media_content table td{word-wrap:break-word;border:1px solid #ddd;white-space:nowrap;padding:2px 5px}.rich_media_content table th{font-weight:700;background-color:#f0f0f0;text-align:left}.rich_media_content table p{margin-bottom:0!important}.data_color_scheme_dark .rich_media_content table th{background:var(--news-tabel-th-night-color)}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content table th{background:var(--news-tabel-th-night-color)}}.rich_media_content .qqnews_image_desc,.rich_media_content p[type=om-image-desc]{line-height:20px!important;text-align:center!important;font-size:14px!important;color:#666!important}.rich_media_content div[data-exeditor-arbitrary-box=wrap]:not([data-exeditor-arbitrary-box-special-style]){max-width:100%}.rich_media_content .qqnews-content{--wmfont: 0;--wmcolor: transparent;font-size:var(--wmfont);color:var(--wmcolor);line-height:var(--wmfont)!important;margin-bottom:var(--wmfont)!important}.rich_media_content .qqnews_sign_emphasis{background:#f7f7f7}.rich_media_content .qqnews_sign_emphasis ol{word-wrap:break-word;border:none;color:#5c5c5c;line-height:28px;list-style:none;margin:14px 0 6px;padding:16px 15px 4px}.rich_media_content .qqnews_sign_emphasis p{margin-bottom:12px!important}.rich_media_content .qqnews_sign_emphasis ol\u003eli\u003ep{padding-left:30px}.rich_media_content .qqnews_sign_emphasis ol\u003eli{list-style:none}.rich_media_content .qqnews_sign_emphasis ol\u003eli\u003ep:first-child::before{margin-left:-30px;content:counter(olCounter,decimal) ''!important;counter-increment:olCounter!important;font-variant-numeric:tabular-nums!important;background:#37f;border-radius:2px;color:#fff;font-size:15px;font-style:normal;text-align:center;line-height:18px;width:18px;height:18px;margin-right:12px;position:relative;top:-1px}.data_color_scheme_dark .rich_media_content .qqnews_sign_emphasis{background:#262626}.data_color_scheme_dark .rich_media_content .qqnews_sign_emphasis ol\u003eli\u003ep{color:#a9a9a9}@media(prefers-color-scheme:dark){body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content .qqnews_sign_emphasis{background:#262626}body:not([data-weui-theme=light]):not([dark-mode-disable=true]) .rich_media_content .qqnews_sign_emphasis ol\u003eli\u003ep{color:#a9a9a9}}.rich_media_content h1,.rich_media_content h2,.rich_media_content h3,.rich_media_content h4,.rich_media_content h5,.rich_media_content h6{margin-bottom:var(--news-bottom-distance);font-weight:700}.rich_media_content h1{font-size:20px}.rich_media_content h2,.rich_media_content h3{font-size:19px}.rich_media_content h4,.rich_media_content h5,.rich_media_content h6{font-size:18px}.rich_media_content li:empty{display:none}.rich_media_content ul,.rich_media_content ol{margin-bottom:var(--news-bottom-distance)}.rich_media_content div\u003ep:only-child{margin-bottom:0!important}.rich_media_content .cms-cke-widget-title-wrap p{margin-bottom:0!important}\u003c/style\u003e\u003c/div\u003e

【纠错】【责任编辑:destinyforever】

深度观察

新华全媒头条丨厦门银行4.19亿追债案进入强制执行，新掌门洪枇杷迎考验