AI该听谁的？前Meta新闻主管坎贝尔·布朗的思考

谁来决定AI告诉你什么？前Meta新闻主管坎贝尔·布朗有自己的想法。

坎贝尔·布朗的职业生涯一直在追寻准确信息——先是作为一名知名电视记者，后来成为Facebook首位也是唯一一位专职新闻主管。如今，目睹AI重塑人们获取信息的方式，她看到历史似乎正在重演。这次，她不打算等着别人来修复。

她的公司Forum AI（最近她在旧金山的一场StrictlyVC晚间活动中与TechCrunch的Tim Fernholz进行了讨论）评估基础模型在她所谓的“高利害话题”上的表现——地缘政治、心理健康、金融、招聘，这些都是“没有明确对错答案、模糊、微妙且复杂”的领域。

思路是找到世界顶尖专家，让他们设计基准测试，然后训练AI评委来大规模评估模型。对于Forum AI的地缘政治工作，布朗招募了Niall Ferguson、Fareed Zakaria、前国务卿Tony Blinken、前众议院议长Kevin McCarthy以及曾在奥巴马政府领导网络安全的Anne Neuberger。目标是让AI评委与这些人类专家达成大约90%的共识——布朗表示Forum AI已经能够达到这个门槛。

布朗将17个月前在纽约创立的Forum AI的起源追溯到一个特定时刻。“ChatGPT首次公开发布时我在Meta，”她回忆道，“我记得不久就意识到这将是所有信息流经的漏斗。而且它并不太好。”这对自己孩子的影响让那一刻几乎带有存在主义色彩。“如果我们不解决这个问题，我的孩子会变得非常愚蠢，”她回忆自己当时这样想。

最让她沮丧的是，准确性似乎并非任何人的优先事项。她说，基础模型公司“极其专注于编码和数学”，而新闻和信息则更难。但更困难并不等于可有可无。

事实上，当Forum AI开始评估领先模型时，发现结果并不令人鼓舞。她提到Gemini会从中国共产党网站上抓取“与无关中国的故事”，并指出几乎所有模型都存在左倾政治偏见。更微妙的失败也大量存在，她说，包括缺失背景、缺失视角、未经承认地稻草人论证。“还有很长的路要走，”她说，“但我也认为有一些非常简单的修复方法可以极大改善结果。”

布朗在Facebook度过了多年，目睹了平台因优化错误事物而带来的后果。“我们尝试的很多事情都失败了，”她告诉Fernholz。她建立的核查事实项目已不复存在。即使社交媒体对此视而不见，教训是：优化参与度对社会很糟糕，并使许多人信息更少。

她希望AI能够打破这种循环。“现在它可能往任何方向发展，”她说。公司可以给用户他们想要的东西，或者他们可以“给人们真实、诚实和正确的东西”。她承认这种理想化的版本——AI为真相而优化——听起来可能很天真。但她认为企业可能是一个出人意料的盟友。使用AI进行信贷决策、贷款、保险和招聘的企业关心责任，“他们会希望你优化到得到正确结果。”

这种企业需求也正是Forum AI押注其业务的地方——尽管将合规兴趣转化为持续收入仍是一个挑战，特别是在当前市场仍然满足于勾选框审计和标准化基准测试（布朗认为这些不够充分）的情况下。

她说，合规环境“是个笑话”。当纽约市通过第一部要求AI审计的招聘偏见法时，州审计长发现超过一半的违规行为未被发现。她说，真正的评估需要领域专业知识，不仅要处理已知场景，还要处理“可能带来人们没考虑到的麻烦”的边缘案例。而且这项工作需要时间。“聪明的通才是不够的。”

布朗的公司（去年秋天由Lerer Hippeau领投了300万美元）表示，Forum AI处于独特位置来描述AI行业的自我形象与大多数用户现实之间的脱节。“你听到大型科技公司的领导人说，‘这项技术将改变世界’，‘它会让你失业’，‘它会治愈癌症’，”她说，“但对于一个仅仅使用聊天机器人问基本问题的普通人来说，他们仍然得到大量垃圾信息和错误答案。”

当您通过我们文章中的链接购买商品时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。