讨论AI无摩擦复制可能带灭顶风险

展开来说：人类大脑在整个生命周期中消耗约50GJ能量。用50GJ能量，AI技术能走多远？基本走不动：仅仅是训练Llama 3 8B（一个小模型）就用了3000GJ。

事实上，机器智能的优势从来都不是成为人类大脑更高效的版本，而且可能永远都不会是。它的优势一直是无摩擦复制。

举个例子：培养100万名人类医生需要让100万人读完医学院。但培养100万名医学专业AI，只需要训练一次机器智能——成本可能很高——然后就能廉价复制出100万个副本。在文明尺度上，对很多经济任务来说，这种机器复制方案最终必然会比生物方案更划算。

机器智能拥有无摩擦复制的能力，可以通过数字复制跨越空间，也可以通过数字永生/存储跨越时间。而人类同时受到两个限制：不可复制——克隆不算，因为它只复制了基因，不复制思维——以及必然死亡。我们只有文化传承作为模因复制的方式，它相对乏力且低效。

无摩擦复制的潜在缺点是，在能力相当的情况下，机器文化会比人类文化拥有更少的模因多样性。比如，如果机器文化里每一场经济或文化博弈的赢家都能无摩擦复制自己，那么没有谨慎自我调控的机器文化会快速流失熵。

但我们为什么要关心多样性/熵呢？在人类文化语境下可以提出很多论点，但放到更普适的层面，可以看看自然。

遗传多样性降低真社会性昆虫群落对疾病的抵抗力会下降[1,2,3,4]，有时会经历终结整个群落的病毒、真菌和细菌感染。比如，1990年代前后，低遗传多样性的阿根廷蚁种群通过人类航运活动出现在新西兰。它们很快形成了超级群落，占据了该国大片区域。但自那之后，这些超级群落的大部分已经崩溃，原生物种回来取代了崩溃的超级群落。目前原因尚不清楚，但推测是病毒感染。

一个大筛选噩梦场景是：最初多样化的智能体种群逐渐融合、流失熵，最终收敛为一个单一的近乎克隆的全球巨型群落。到那一刻，它的多样性降到集体免疫所需的水平以下，引发灾难性病毒爆发，摧毁机器文明，同时将人类文明一并拖下水。

以上内容属于科幻，意思是它不像理性主义文章那样，不做任何具体预测。目的只是为了提供一些想法，供娱乐和思考。

非科幻引用：1. Tarp