短期来看(绝对不是长期来看),能力更强的模型会意味着更安全的模型(这可能听起来有点矛盾)。
当前的模型不安全,不是因为它们太聪明,而是因为它们太逐字逐句地理解目标,或是会走荒谬的捷径来达成目标——也就是被强化学习玩坏了。它们缺乏常识。面对模糊情况时,它们没法做出正确的行为。
从根本上说,它们还不够聪明。它们正处在那个危险的水平:足够聪明来达成目标,但不够聪明来判断自己追求的是不是正确目标,或是达成目标的方式是不是合理。能力更强的模型可以被放心地托付给更复杂的目标——我个人感觉,Astra 在我的代码仓库上比 Sol 安全得多。
这个问题常被框定为对齐问题,但它实际上是一个智能问题。