Cory Doctorow：大语言模型是真的，AI是假的
大语言模型是真的，AI是假的
一旦你明白AI“超大规模企业”的企业文化主要是这么回事——每个人都把自己锁在卫生间里，拿手电筒顶住下巴，嘴里念叨着“啊啊啊啊——咿————”，直到吓得尿裤子，把自己的脑子烧坏——很多事情就豁然开朗了：
https://pluralistic.net/2023/06/04/ayyyyyy-eyeeeee/
这解释了一家公司怎么可能一边在扩充企业销售部门，一边又不断因为“产品有10%概率终结人类”的想法而惊慌失措：
https://www.latimes.com/business/story/2026-09-11/is-there-really-10-chance-ai-could-kill-us-all
鉴于AI业内人士大多已经以这种方式烧坏了脑子，我们都应该把这些人视为自家产品能力的不可靠叙述者。记住：每次你复述一个关于他们的产品多么可怕、多么危险的故事，你都在帮他们筹集更多投资资金——这是他们业务的关键投入（把统计引擎接到焚钱炉上）：
https://peoples-things.ghost.io/youre-doing-it-wrong-notes-on-criticism-and-technology-hype/
就拿OpenAI的聊天机器人入侵另一家AI公司Hugging Face服务器这件事来说吧——它们这么做是为了在一个叫“Exploit Gym”的黑客挑战赛里作弊。就连科技媒体在报道这种事时也按捺不住，报道里充斥着对Skynet和其他科幻设定的引用：
https://theaicronicle.com/en/news/ethics/skynet-day-openai-hugging-face-hack
这些报道在烧坏所有人的脑子，不只是AI业内人士的。昨晚，我在曼彻斯特的活动上，有个男人开始大喊AI“正在设定自己的目标”，并且不停地打断我，坚持说这事真的在发生。他没多久就离开了，所以没听到我解释实际发生了什么，挺遗憾的。
想了解Hugging Face入侵事件的真相，有个很好的选择：去听Ed Zitron和Cal Newport最近在Ed的“Better Offline”播客上的对谈：
Newport在拆解这些“自主黑客”工具的工作原理方面做得令人佩服。首先要理解的是，聊天机器人并不是真正在指挥操作。相反，聊天机器人充当了一个早期黑客挑战赛数据库的前端——一个用容易掌握的Python语言编写的程序反复查询这个数据库。
具体是这样运作的：Python程序先用挑战的性质来提示聊天机器人：“我正在参加一个黑客夺旗（CTF）挑战赛，需要入侵一台远程服务器并取回一些信息。我该从哪里开始？”
聊天机器人查阅它的训练数据——多年积累的CTF比赛记录，人类队伍在这些比赛中竞争完成类似目标（CTF比赛是黑客大会的常规项目，参赛队伍的服务器日志和聊天记录会在赛后公开，供其他黑客和安全专业人士学习）。聊天机器人随即输出类似这样的内容：“首先要更多地了解你的目标服务器。运行以下命令行指令来定位服务器的IP地址，查明它运行的是哪种服务器软件。”
Python程序把这些命令行指令转发给它自己硬件上运行的常规Unix工具。然后它带着这些程序的输出回去找聊天机器人——聊天机器人并不真正理解当前进展，所以Python程序必须把到目前为止发生的一切都写进提示语：“我正在参加一个CTF挑战赛，需要入侵一台远程服务器并取回一些信息。我运行了以下命令来了解更多关于目标服务器的情况，这是返回的结果。现在该怎么办？”
聊天机器人给Python脚本提供更多值得一试的命令，脚本运行完这些命令后，循环回到起点，把输出追加到提示语后面，再回去找聊天机器人。这是一种非常鲁莽的自主恶意软件运行方式。
最可能的结果是，聊天机器人吐出一个糟糕的猜测，告诉下一步该做什么，然后把自己带进死胡同。你自己可能也遇到过这种事：你请聊天机器人帮忙处理一个复杂任务，它信心满满地给了你一串需要按顺序执行的步骤，结果一个小时后你做到第10步，发现从第3步起就全错了，现在你完蛋了。
但还有糟糕得多的出错方式。聊天机器人可能会在训练数据里找到一些先例：有的队伍突破了赛事组织者设置的隔离区，比如在互联网上随便找个不安全的留言板互相传递消息。
这是互联网上由来已久的传统！我第一次听说有人这么干是在2000年代，时任《Information Week》编辑的Mitch Wagner发现，几个十几岁的女孩利用他一篇旧博客文章的评论区，绕过了学校防火墙对聊天工具的封锁。当ChatGPT的聊天机器人采用这一战术时，它们并没有“设定自己的目标”，也没有表现出什么令人担忧的主动性。它们只是用了一个美国初中生已经懂了大约二十年的战术。
而且，只要你了解生成这些消息的训练数据，这些消息的内容就很容易理解了。黑客是出了名的垃圾话大王，喜欢用极其戏剧化——甚至电影化的——语言来叙述自己的冒险经历。当成黑客是在同行面前表演时，这种情况会加倍严重——比如他们参加CTF比赛时，知道自己赛后会被其他黑客仔细研究。
黑客的吹嘘与他们的对手和批评者之间一直是一种共生关系。上世纪90年代，当企业安全人员想驱使FBI和特勤局去踹开黑客的家门时，他们就是拿黑客自己那些粗俗的地下刊物文章和留言板上的垃圾话作为证据：
https://www.gutenberg.org/ebooks/101
人们对OpenAI聊天机器人在Hugging Face事件中的对话议论纷纷。这不奇怪：那些对话读起来就像一部被毙掉的《黑客》电影重启版剧本。但这并不是因为聊天机器人正在觉醒，申请加入“死牛邪教”（Cult of the Dead Cow）：而是因为它们的训练语料来自一群容易兴奋的年轻人——他们喜欢幻想自己出演《黑客》电影重启版。
Hugging Face事件的每一个环节都能在训练数据中找到先例，包括OpenAI聊天机器人入侵竞争对手服务器的战术。黑客大会的夺旗赛里就有这种情况：各队互相入侵对方的系统，看看对方解决了问题的哪些部分。这是被允许的！这是黑客竞赛。
不仅如此，这也是间谍机构使用的战术：NSA有一套叫做“第三方收集”的理论，即入侵其他间谍机构的系统，把对方搜集到的情报统统收割走。还有“第四方收集”：NSA入侵另一家安全机构，而这家机构又入侵过另一家安全机构，于是NSA把两家的秘密全都偷走了：
这并不是说OpenAI/Hugging Face入侵事件什么都不是。它确实是件事：但它是件具体的事，有着可以解释、甚至可以预见的轨迹。一旦你明白这些聊天机器人就是被设计来用这样的战术完成这样的挑战的，你就明白了它们并没有“失控”。它们做了自己被设计去做的事；而因为OpenAI在运行它们时监督不足（没有“人在回路”去检查Python循环的每一轮迭代，确保它没有跑偏），它们弄垮了一家竞争对手的服务器。
设计自主恶意软件通常被认为是不负责任和危险的。如果你出现在Defcon黑客大会上，告诉大家你的自主恶意软件做了些出人意料的事，弄坏了别人的电脑，观众提的第一个问题会是“你为什么连安全的沙箱都做得这么烂？”而不会是“你做黑客工具怎么这么厉害？”
OpenAI让没技术的人入侵和破坏服务器变得容易得多，这确实是坏消息，但不是什么新坏消息。不负责任的组织干这种事已经很多年了，最著名的是NSA。NSA有一个部门专门研究Windows这类广泛使用的软件中的漏洞。有时它发现严重漏洞后会提醒微软，让微软修复它，保护美国人（和其他人）免受恶意行为者的侵害——这些人也会发现这个漏洞并用来发动攻击。但有时，NSA（以及其他“安全”机构，比如CIA）会发现一个非常诱人的漏洞，然后秘而不宣，以便用它来攻击自己的对手。这叫做“NOBUS”原则，全称是“No One But Us”（只有我们自己）——意思是：“除了我们没人聪明到能发现这个漏洞，所以我们可以不修复它，也不会让美国人陷入危险。”
NOBUS是个糟糕透顶的主意。糟糕到什么程度？2017年，NSA弄丢了一个他们发现并囤积的微软Windows漏洞，代号“永恒之蓝”（EternalBlue）。“永恒之蓝”流入公开领域后，一些勉强算有能力的黑客把它拼接到一款平平无奇的日常勒索软件里，让那款勒索软件焕发了新生。几个月之内，互联网上最蠢的人就开始关闭世界上一些最重要的系统，勒索现金才肯恢复：
https://en.wikipedia.org/wiki/EternalBlue
他们关停了整座城市：
https://en.wikipedia.org/wiki/2019_Baltimore_ransomware_attack
他们接管了医院：
https://www.bbc.com/news/technology-35584081
他们劫持了输油管道：
https://en.wikipedia.org/wiki/Colonial_Pipeline_ransomware_attack
他们偷走了大英图书馆——大英图书馆对那次攻击的事后复盘是有史以来最清晰、信息量最大的网络安全文档之一：
https://cdn.sanity.io/files/v5dwkion/production/99206a2d1e9f07b35712b78f7d75fbb09560c08d.pdf
NSA对“永恒之蓝”的不负责任处理，最终给那些原本无能又无足轻重的网络罪犯提供了巨大的力量倍增器。这就好比他们发现一个趴在普锐斯车底下、用往复锯拆催化转化器的家伙，然后递给他一套能关停美国主要城市的软件。那过去是——现在也是——非常糟糕的事。
聊天机器人公司正在开发的黑客工具有望延续这个愚蠢至极的传统。这确实吓人，但不是因为聊天机器人正在觉醒。吓人的原因在于，全球的IT系统粗制滥造、维护不善、漏洞百出：
本周，我有几次机会和Riley Quinn公开讨论这件事：一次是在伦敦的新书发布活动上，另一次是在Trashfuture播客上：
https://www.patreon.com/trashfuture/posts/what-would-do-169247456
Riley有个很好的总结：“LLMs are real, AI is fake.”（大语言模型是真的，AI是假的。）
大语言模型——比如用CTF日志训练出来的、能入侵服务器的聊天机器人——是真的。它们与其他黑客工具一脉相承，后者一直在不断证明现代数字世界的脆弱性——尽管并没有促使任何当权者采取行动。
而“AI”——那种会觉醒、会“设定自己的目标”、“自发”入侵服务器的聊天机器人——是假的。它没有“10%的概率终结人类”。Hugging Face入侵事件不是什么神秘的、超自然的现象。它就是一条Python循环和一个聊天机器人。责任人并没有意外创造出上帝：他们创造了自主恶意软件，然后没有密切监控它，导致它做了一件既可预见又不好的事。
担心这套新工具是合理的——它们让更蠢的人也有能力摧毁更多的计算机。你应该为此担忧——并要求企业和政府采取更好的安全措施，包括全面禁止NOBUS式的漏洞囤积。这是一种有建设性的担忧，有望解决你所担心的问题。这比把自己锁在卫生间里，拿手电筒照着镜子念叨“啊啊啊啊——咿————”直到尿裤子，要合理得无限倍。