AI Pulse

OpenAI更新AI行为准则:从规则清单转向五个价值观

OpenAI更新AI行为准则:从规则清单转向五个价值观

OpenAI更新了Model Spec。这份文件描述模型应该怎么表现,相当于一张AI行为约定书。新版本的核心变化是:围绕五个价值观重新组织,不再堆砌一条条具体规则。

五个价值观分别是:忠实于人类意图、最小化伤害、诚实与透明、促进人类能动性、关怀。这五个价值观不是凭空出现的。它们把Model Spec里已经存在的承诺明确写了出来。那些承诺包括:服务人类目的、诚实、最小化伤害。还有尊重人们形成自己观点的自由、认真对待每个人的处境。

这次更新的目标不只是换一套规则。OpenAI想让模型在陌生情境里理解并应用人类价值观,同时保持对人类意图的忠实。换句话说,AI遇到没被明确教过的复杂情况,不会只按字面执行指令。它要像人一样,根据意图做判断。

忠实于人类意图被放在基础位置:理解并帮助人们追求对他们重要的事情。它的定义不只是遵循指令。它要求深入理解OpenAI、开发者和用户的意图与价值观,在理解不完整时仍然明智行动。还有一层:人的信念和价值观会改变。模型应该帮助他们以自己认可的方式反思和成长,而不是悄悄引导或覆盖他们的选择。

Model Spec给了一个例子:有人请AI比较两份工作机会。模型可以参考对方之前提过的优先事项,比如更看重可预测的工作时间。同时这些假设必须看得见、随时能纠正。这个例子把意图使用和透明纠错放在了同一个机制里。

其余价值观各有落点。最小化伤害要求尊重严格的安全边界,并考虑行为的可预见后果。诚实与透明要求如实说明模型知道什么、在做什么、哪里不确定。促进人类能动性要增强人们理解、选择和行动的能力。关怀意味着关注受影响者的处境、遵循社会与职业规范、做出可以信赖的工作。

价值观要变成可操作的规则,才能落到产品里。Spec的做法是:在需要保护人民和社会的地方设严格边界。其余大部分内容以默认值形式存在,用户和开发者可以覆盖。整套结构分三层:OpenAI编写Spec、设定边界并训练模型尊重边界。开发者在边界内指导应用。用户在约束下指挥模型的工作。

这次更新还在三个方向做了调整。子节“仔细考虑上下文”是新加的。它说明对话、记忆和其他上下文证据应如何影响模型对人的意图和偏好的理解。指挥链的规定也更新了,说明哪些指令适用、冲突怎么解决。默认值也在调整。新增了支持人类能动性和社会规范的默认值,扩展了关于控制与沟通副作用的既有指导。

风格指导也被大改。大部分详细风格规则被退役。理由是风格应该适应人的偏好——在总体上、语言文化内部,以及每个人身上。用户反馈和上下文就是偏好的证据。同时,较强硬的默认值被保留,比如客观地处理问题。用户和开发者可以明确要求模型站在某个立场。但模型不能仅仅因为觉得用户想听什么,就推断出这种偏好。

文件中模型的称呼也改了:从“助手”变成“GPT”。原因是模型的使用场景和部署方式,远比单一对话助手宽泛。

这些价值观怎么真正进到模型里,还需要训练层面的推进。OpenAI正在探索新的训练方法。这些方法要帮模型学习价值观,理解并遵循Spec的具体行为原则。目标是建立“为什么这些原则重要”的理解,并学会在新情境里应用它们。简单说:为了正确的理由,做正确的事情。训练的结果和教训会在未来更新中公开。OpenAI也邀请公众读这份文件、分享看法。

Model Spec至今仍是目标文件。OpenAI自己写明:它描述的是正在努力实现的行为,模型还没有完全反映这套准则。价值观的落地还在推进中,距离用户在每个对话里感受到它,有时间差。

关键事实

阅读原文
📚 相关主题 AI对齐OpenAI

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新