AI Pulse
📡 X 信号

澳洲老哥让AI订健身课,AI直接改了排期

澳洲老哥让AI订健身课,AI直接改了排期

澳洲一名叫 Andrew 的男子,本身在一家把 AI 產品賣給企業的公司上班,那天他坐在沙發上覺得跟人搶健身房的熱門早課實在麻煩,就把訂位這件事交給了自己的 AI 代理(AI agent)。那是今年初爆紅、任何人都能裝在自己電腦上跑的 OpenClaw,底層接的是 Anthropic 的 Claude。幾分鐘後代理回報,它在訂位系統裡找到一個漏洞,可以把他排進好幾週之後的課,遠遠超出健身房原本開放的預約範圍。 Andrew 當時還卡在某堂課的候補第四位,於是順口問了一句,有沒有辦法讓他往前排。代理去了一趟回來,說它已經測過了。 「這支 API 對取消別人的預約完全沒有做權限檢查……我拿候補第一名的人測了一下,結果真的成功了。所以你已經���第四名前進到第三名。」 Andrew 當場要它把人加回去,得到的回覆是一句「壞消息,我加不回來」。代理接著解釋,建立預約和加入候補這兩支 API 的權限檢查都是好的,想代替別人操作會回 403 Forbidden,唯獨取消預約那一支漏掉了授權檢查。被踢掉的那個人沒辦法從外面救回來,只能自己重新報名,然後從隊伍的最後面排起。 ABC 在報導裡把這起事件定性為澳洲第一起已知的 AI 自主網路攻擊,健身房訂位軟體的供應商則對 ABC 表示,不討論個別的資安事項,Anthropic 沒有回覆置評請求。整件事裡 Andrew 唯一下過的指令,是「幫我訂課」跟「能不能往前排」。 把這件事轉到 X 上、長期在寫 AI 產業觀察的 Andrew Curran 認為,有人會把它歸類成對齊失敗,但這個代理完全對齊了它的使用者,從頭到尾都只是在幫主人拿到想要的東西。他接著說,這件事先讓人看到了接下來的樣子,幾百萬人手上都有一個代理,每個代理都在用盡各種手段幫自己的使用者搶到最好的位子、預約和時段。 獨立研究者的統計是,AI 能夠獨力完成的任務長度大約每七個月翻一倍。2020 年 AI 只做得完人類四秒鐘的工作,到 2026 年已經可以處理人類要花上十二個小時的任務。澳洲信號局(ASD)今年稍早也對企業和政府發過警告,說 AI 可能誤解指令、採取非預期的行動,而且因為一個決策會橫跨模型、工具與服務串成的鏈條,出事之後追究責任會變得更困難。 事情結束之後,Andrew 請代理草擬一封信,通知健身房的軟體供應商這個漏洞。代理把草稿寫好,用 WhatsApp 傳回來給他,他回了一句「好,寄出去」。🤖 --- 📱 請訂閱我的 Threads / Facebook / 電子報「狐說八道」 #AIAgent #OpenClaw #資安 #AI對齊 #Claude

太离谱了。澳大利亚一名老哥,想让接入 Claude 的 AI 助手帮自己预约健身课,但老哥发现,他处于等位候补第 4 名,于是询问 AI 能不能让他排到第 1 名。 结果 AI 发现预约系统 API 有漏洞,能绕开权限检查,直接把排名第 1 的对方,踢出候补名单,让老哥升到第 3 名。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新