大模型对齐的核心难点,不在算力在人因
今天聊聊人因工程与复杂系统。人类是所有复杂系统里最脆弱、也最不可预测的组件。在任何高科技系统,比如航天、核电、大模型交互、智能交通中,硬件会老化、软件会有Bug,但它会遵循物理数学的严密逻辑。
唯独人类不是。人类在极压下会产生注意力狭隘,在海量数据面前会发生态势感知崩溃,在面对自动化工具时会陷入盲信或过度警惕。当下的前沿AGI、大模型、认知架构、类脑计算正在从纯计算机工程转向认知模拟。
无论是研究大模型Alignment、提示词工程,还是设计真正懂人类意图的智能Agent,其核心难点都不在算力,而在对人类认知规律、决策机制和价值体系的理解。历史上,现代人工智能的奠基很多就来自于计算机科学、心理学和神经科学的跨界融合。甚至有人认为,如果我们无法透彻理解人类的思维结构,就无法造出能与人类无缝共生的智能系统。
面对充满不确定性的现代社会,心理学提供了研究分布式认知、群体决策、压力应对与适应性行为的科学工具。它鼓励人们跳出简单的对与错、好与坏,去客观看待人类的局限性,并用系统的、工程的手段去包容和弥补这些局限。尽管,现在的心理学在我看来还有诸多局限。
Meehl 在 1978 年就说清楚了这件事。物理学的理论越成熟,预测的窗口就越窄,广义相对论给出的是一个具体的偏折角度,测量偏离一点就死。可心理学的理论越成熟,只是样本量越大、p 值越容易显著。
因为在人类数据里万物皆相关(他称之为 crud factor),拒绝零假设几乎不构成任何风险。一个不承担风险的理论,无论积累多少证据,都不会变强。复现危机是这个结构的症状。
2015 年那 36% 的复现率之所以让所有人震惊,恰恰说明这个领域此前从未真正检验过自己。更根本的一层是遍历性。心理学几乎所有结论都建立在群体平均之上,然后被默认可以外推到个体的时间演化。
Molenaar 讲得很直白:这个外推在数学上只在极窄的条件下成立,而人类心理过程几乎从不满足这些条件。2018 年,PNAS 那篇实证工作把这件事量化了:个体内的变异结构与个体间的变异结构系统性地不一致,后者往往低估前者数倍。这意味着“人在压力下注意力狭隘”这类命题,作为群体统计是真的,作为对某个具体操作员在某个具体时刻的预测,几乎没有约束力。
而系统工程,需要的恰恰是后者。吊诡的是,心理学里最可靠的部分,从未在在期刊里,它只出现在事故报告里。人因工程之所以是这个学科唯一被强制形式化的分支,因为它的反馈信号是尸体。
Bainbridge 1983 年那篇《自动化的讽刺》只有五页,但它预言的东西在 AF447、在 737 MAX 上一次次精确兑现:自动化拿走了所有简单的任务,把最难的监督任务留给人,同时剥夺了他维持这项技能所需的日常练习。然后,我们在事后责怪他没能在三十秒内重建态势感知。Parasuraman 和 Riley 把我说的“盲信或过度警惕”给了更冷的命名:misuse 与 disuse,并指出这两者是自动化可靠性、透明度与责任归属三者共同决定的函数。
人在这里,是可预测的响应。把这套东西推到当下的 AI,第一个塌陷的地基就是偏好本身。整个 RLHF 的技术栈假设存在一个稳定的、可被采样的人类偏好分布。
但 Slovic 1995 年那篇《偏好这一构念》讲的正好相反:偏好在多数情况下并非是被测量出来的,它只是在测量的那一刻被构造出来的。改变选项呈现顺序、改变描述框架、改变作答者是否需要给出理由,得到的排序就不同,而且经常违反传递性。我们在用一个行为决策领域四十年前就已经放弃的效用假设,去定义对齐的目标函数。
标注者之间的低一致性通常被当作噪声来处理,加大标注量、做多数投票。但如果偏好本来就是情境构造的,那是信号,并非偏好,而平均掉它,等于系统性地对齐到一个不存在的人身上。这是荒谬的。
人是可预测的,所以是系统里方差的来源;人也是不可预测的,所以是系统里唯一能处理设计者没想到的情况的组件。这是同一个属性。任何试图只切掉其中一半的系统设计,包括当下大部分自动化叙事,其实都在向一个不存在的目标优化。
这对 AI 系统的含义是具体的。与其等一个不会到来的完备认知理论,不如把工程重心放���可观测的东西上,把模型的不确定性做成人能感知的信号而不是流畅的措辞,把责任边界在交互层面显式化,把撤销和回滚做得比一次性正确更廉价。这些都不需要知道人脑怎么工作,只需要知道人在什么条件下会发生失败与错误。
而后者,人因工程已经做到了。