官僚AI军备竞赛是相互确保毁灭,唯一的赢法是不参与
官僚AI军备竞赛:相互确保毁灭
据《经济学人》的一篇社论称,“AI正在瓦解英国国家机器”,因为它让提交投诉、诉求和上诉变得过于容易,从而以“堪比一流律师水准的诉求”将国家“淹没”:
让我们暂停片刻,欣赏一下《经济学人》对AI即将掌握法律技能的天真轻信。法律似乎是AI最易“幻觉”(即“产生有缺陷的输出”)的领域,只有经验丰富的从业者才能从中筛选出有用的论证与愚蠢的论证,他们的经验赋予了他们这种辨识力:
https://pluralistic.net/2026/07/28/hitl-ers/#ai-ai-oh
(而这就要求这些经验丰富的从业者避免“自动化盲区”——一种困扰着那些被要求对鲜有发生之事保持警惕之人的现象。这一现象把每一位TSA安检员都变成了人类史上最他妈会查水瓶的混蛋,但他们仍然漏掉了红队携带通过安检口的95%的枪支):
比《经济学人》基于信仰的预测——一支超级能干的机器人律师大军即将到来——更值得注意的是,该杂志为这场迫在眉睫的危机开出的药方:“停止制造那些容易被AI驱动的索赔利用的权利……大规模削减程序性权利。”最重要的是,用更多的AI取代处理你“投诉、诉求和上诉”的官僚,通过不基于任何有保障权利的“个性化福利干预”,任意决定谁得到什么。
政治学家Henry Farrell在他的博客上写道,这一切将不可避免地走向何方:以AI为基础的机器人战争,在这场战争中,越来越吝啬苛刻的机器人官僚催生了对越来越激进的机器人律师的需求:
https://www.programmablemutter.com/p/the-downside-of-robot-solutionism
正如Farrell所写,这一末日景象早已被先知Alan Moore在1980年代《2000 AD》中的角色Abelard Snazz——“拥有双层大脑的人”——所预言:
https://en.wikipedia.org/wiki/Abelard_Snazz
Snazz用“巨型警察机器人”“解决”了Twopp星球上的街头犯罪流行病,但机器人失控,以穿棕色鞋子配蓝色西装(“违反良好品味法”)之类的琐碎罪名逮捕Twopp居民。为了解决这个新问题,Snazz发明了“巨型罪犯机器人”,它们“狡猾而高效”的犯罪“占用了警察的所有时间”。
Twopp陷入了一场高风险的大型机器人犯罪战争:可以想象的最有效率的罪犯,与科学所能制造的最无情的机器人警察交战,Twopp居民则夹在交叉火力之中,成为这场机器人永恒(打击犯罪)战争中的附带损害。
正如Farrell所写,这已经在美国医疗体系中显现。保险公司一方的机器人理赔拒绝大军,遭到了医生一方机器人理赔申诉大军的对抗:
https://www.nytimes.com/2024/07/10/health/doctors-insurers-artificial-intelligence.html
关键在于:人们需要医疗保健,人们需要公共服务。虽然边缘地带总会存在一些浪费(无论源于无能还是欺诈),但用更先进的繁琐程序来加固系统防线以应对这一问题,只会迫使那些真正需要这些服务的人采取更激进的策略。
为支持这一观点,Farrell引用了Dan "Accountability Sink“ Davies为Niskanen Center撰写的一篇精彩长文:《”问题工厂“——基础设施规划中的预防性风险规避与专业服务的作用》:
Davies的文章描述了这样一个过程:官僚体系为防范轻率或欺诈性诉求而不断加强防御,这促使相关参与者进入战时状态,将体制视为战场,最终导致了官僚程序本意要阻止的成本失控膨胀。
(Davies是一位控制论学者,关于如何构建规划流程以最小化这一问题,他有一些很有意思的建议,但这超出了本文的讨论范围。)
这让我想起了垃圾邮件战争。曾几何时,搭建邮件服务器并为任何想要的人提供电子邮件访问非常容易——包括垃圾邮件发送者。垃圾邮件的增加催生了反垃圾邮件措施的加强,尤其是黑名单的创建,让邮件管理员可以自动拒绝来自”不安全“邮件服务器的邮件。
不可避免的是,垃圾邮件发送者找到了如何从”安全“服务器发送垃圾邮件的方法,这导致了更严格、更繁琐的邮件服务器配置标准。对垃圾邮件发送者来说,能发送垃圾邮件是生死存亡之事——他们设法满足了这些标准,于是安全要求再次提高——一次又一次。
如今,收发邮件在技术上的挑战如此之大,以至于互联网上的大部分电子邮件都由少数几家巨头公司运营,这些公司大多总部在美国。如果其中任何一家公司认定你的邮件服务器在发送垃圾邮件,你就实际上从互联网上消失了,想让他们承认错误那就祝你好运吧。与此同时,这些公司自己却在大量发送垃圾邮件,但没人会封锁它们的服务器,因为这样做会切断数十亿合法电子邮件用户的通信:
https://pluralistic.net/2021/10/10/dead-letters/
而且由于这些公司大多总部在美国,它们很容易被Trump武器化。Trump已经开始命令他的科技巨头封锁那些政策决定让他不满的外国官员:
https://carnegieendowment.org/emissary/2026/07/icc-trump-push-dismantle
另一个类似的情况是内容审核战争。大型平台不断制定越来越详细的规则来界定何为骚扰和仇恨言论,结果却被敬业的网络喷子掌握了这些规则手册。对喷子来说,骚扰是全职职业——他们成了世界上最懂平台言论政策的专家,这使得他们在虐待受害者时可以紧贴红线滑行,而且只要能把受害者引诱得越线一步,就能让受害者被踢出平台:
https://pluralistic.net/2022/08/07/como-is-infosec/
Farrell批评《经济学人》对(所谓的)迫在眉睫的机器人律师威胁的回应是”解决方案主义“(solutionism),这是Evgeny Morozov的用语,意指”将所有复杂的社会情境重新塑造为具有明确、可计算解决方案的整洁问题“:
https://en.wikipedia.org/wiki/Technological_fix
用AI来根除AI生成的官僚申诉,是以保护服务免受滥用和系统资源被误用为名,牺牲了该系统本应存在的目的——提供服务。正如控制论先驱Stafford Beer那句名言所写:”系统的目的是它所做的事。“如果你的官僚体系更关心打击欺诈而非提供服务,那么它根本就不是服务提供系统——而是服务拒绝系统。
正如Farrell所写,Twopp的居民可以告诉你这一切将如何收场——在一场巨型机器人的战争中,我们都是附带损害。
(简短的附言:Farrell是现代政策问题的科幻类比富矿。本周末在《金融时报》上,他与Dan Wang发表了一篇精彩的社论,探讨Philip K Dick那些偏执、幽闭恐惧风格的小说与我们当前政治现实的关联:)
嘿,看看这个
John Crowley(1942-2026)https://floggingbabel.blogspot.com/2026/08/john-crowley-1942-2026.html
电子书即将登陆Libro!https://blog.libro.fm/ebooks-coming-librofm/
击败美国-以色列政治行动委员会到底意味着什么 https://rickperlstein.substack.com/p/what-defeating-the-american-israel
《极度空间》(They Live) https://badtastegoodcause.com/they-live
物体恒存
#20年前 Seymour Cray喜欢在自家房子底下挖隧道 https://www.cs.man.ac.uk/~toby/writing/PCW/cray.htm
#20年前 如何用纸折出开瓶器 https://www.youtube.com/watch?v=qrXmDiYHUY0
#20年前 维基百科的模板语言是图灵完备的 https://web.archive.org/web/20070707115525/http://www.mentalpolyphonics.com/?p=30
#20年前 Schwarzenegger派国民警卫队到加州机场 https://web.archive.org/web/20060813201014/http://sfgate.com/cgi-bin/article.cgi?f=/c/a/2006/08/11/SECURITYLOCAL.TMP
#15年前 Marvel对漫画零售商说:销毁我们竞争对手的产品,我们就给你限量版单行本 https://web.archive.org/web/20110908023907/http://www.wired.com/geekdad/2011/08/the-great-marvel-comics-rip-off/
#15年前 LinkedIn默认让你被用于广告投放;这里教你如何退出 https://brandimpact.wordpress.com/2011/08/10/a-box-you-want-to-uncheck-on-linkedin/
#15年前 MagicJack老板继对Boing Boing提起愚蠢诉讼后,又对女子职业足球提起愚蠢诉讼 https://memex.craphound.com/2011/08/11/magicjack-owner-follows-up-his-dumb-lawsuit-against-boing-boing-with-a-dumb-lawsuit-against-womens-professional-soccer/
#15年前 半岛电视台修复了对举报人的保护 https://www.eff.org/deeplinks/2011/08/al-jazeera-follows-effs-whistleblower
#15年前 新西兰议会可能因疯狂的新版权法而失去互联网接入 https://web.archive.org/web/20110830211231/http://www.greens.org.nz/press-releases/parliament-risk-fines
#15年前 英国航空禁止所有手提行李 http://news.bbc.co.uk/1/hi/uk/4778615.stm?ls
#15年前 《焊接很简单》:CC许可的焊接指南漫画 https://mightyohm.com/blog/2011/04/soldering-is-easy-comic-book/
#15年前 技术风险分类学:当事情严重出错时 https://web.archive.org/web/20190221205543/https://www.sei.cmu.edu/about/divisions/cert/index.cfm
#15年前 秘密分发给新纳粹的反种族主义衬衫 https://web.archive.org/web/20110810082217/http://www.dw-world.de/dw/article/0,,15305581,00.html
#15年前 XKCD谈密码悖论:人为因素对抗计算机暴力破解 https://xkcd.com/936/
#10年前 美国律师协会投票决定给法律加DRM,把它放在最终用户许可协议之后 https://www.abajournal.com/news/article/after_strong_debate_house_calls_for_publication_of_privately_drafted_standa/
#10年前 Trump只写愤怒的推文,友好的推文是由一个用iPhone的员工写的 http://varianceexplained.org/r/trump-tweets/
#10年前 航空业对水分的战争今天满十周年 https://memex.craphound.com/2016/08/10/aviations-war-on-moisture-turns-ten-today/
#10年前 法院裁定FCC不能强迫各州废除禁止市政ISP的法律 https://arstechnica.com/tech-policy/2016/08/in-blow-to-muni-broadband-fcc-loses-bid-to-overturn-state-laws/
#10年前 NRA花费300万美元投放挺Trump广告,称Clinton”会让你毫无防备“ https://edition.cnn.com/2016/08/09/politics/nra-hillary-clinton-donald-trump-election-2016/index.html
#10年前 瑙鲁文件:泄密揭露澳大利亚境外集中营中受虐儿童的故事 https://www.theguardian.com/australia-news/2016/aug/10/the-nauru-files-2000-leaked-reports-reveal-scale-of-abuse-of-children-in-australian-offshore-detention
#10年前 为什么做好公共科学需要私人基金会? https://medium.com/the-spike/how-a-happy-moment-for-neuroscience-is-a-sad-moment-for-science-c4ba00336e9c#.58om85nvg
#10年前 People”s Ride简介:Uber的合作社式、司机所有的替代品 https://www.democracyatwork.info/profile_peoplesride
#10年前 迪士尼乐园鬼屋故事的故事 https://www.latimes.com/entertainment/herocomplex/la-ca-hc-ghosts-disneylands-haunted-mansion-20151016-htmlstory.html
#10年前 设计师用德国公共交通座椅面料做衣服,还穿着坐火车 https://web.archive.org/web/20160808130200/http://www.bbc.com/autos/story/20160804-why-are-trains-seats-so-hideous
#10年前 美国终于要统计执法部门杀死的人是哪些人、有多少人了 https://www.theguardian.com/us-news/2016/aug/08/police-officer-related-deaths-department-of-justice
#10年前 垄断力量与小企业的衰落:大企业vs民主、增长与平等 https://ilsr.org/article/independent-business/monopoly-power-and-the-decline-of-small-business/
#10年前 随着社交媒体中心化,博客的核心基础设施已经枯萎 https://medium.com/@anildash/the-lost-infrastructure-of-social-media-d2b95662ccd3
#10年前 48小时后,Adblock Plus击败了Facebook的反广告拦截器 https://www.theverge.com/2016/8/11/12439990/facebook-unblockable-ads-defeated-by-adblock-plus
#10年前 一亿辆大众汽车可以用40美元的破解设备解锁(其他车也好不到哪去) https://www.usenix.org/system/files/conference/usenixsecurity16/sec16_paper_garcia.pdf
#10年前 DEA贿赂铁路/航空公司员工以获取线报,进而无证没收现金 https://eu.usatoday.com/story/news/2016/08/10/dea-travel-record-airport-seizures/88474282/
#10年前 Trump是机器学习问题的活教材 https://mathbabe.org/2016/08/11/donald-trump-is-like-a-biased-machine-learning-algorithm/
#5年前 IRS泄密揭示超级富豪通过税收法案游说攫取数十亿 https://pluralistic.net/2021/08/11/the-canada-variant/#shitty-man-of-history-theory
#5年前 加拿大拥有世界上最糟糕的互联网想法 https://pluralistic.net/2021/08/11/the-canada-variant/#no-canada
#5年前 Uber的终点 https://pluralistic.net/2021/08/10/unter/#bezzle-no-more
#1年前 古德哈特定律(AI版) https://pluralistic.net/2025/08/11/five-paragraph-essay/#targets-r-us