OpenAI新AI技术藏了个让研究者害怕的秘密

有人用ChatGPT整理周报、分析文档，越来越依赖AI给出的结论。

现在OpenAI的Astra AI，用上了一种叫「循环深度（recurrent depth）」的全新推理方法。

这种方法的创新之处，是让模型可以自己分配计算资源：遇到复杂问题就多用算力，遇到简单问题就少用，能自己平衡推理的深度、推理成本和最终性能，比固定分配算力的旧方法更灵活高效。

它的推理过程是在模型内部的潜在空间悄悄进行的，不用把每一步思考都转换成人类能看懂的文字。

@steph_palazzolo 认为：循环深度确实能帮模型控制成本、提升性能，但研究者担心它会掩盖模型的思考过程，让监控模型变得更难。

@codytfenwick 转发观点称：这件事看起来小众，其实影响很大，确实让人不安。

有研究者提到，之前清晰可追溯的思考链，曾经帮他们独立调查OpenAI和Hugging Face的相关事件，如果思考过程不再透明，这类核查工作会更难开展。

目前先进AI模型的内部运作已经越来越不透明，这已经引发了安全和管控层面的担忧。

如果模型不需要把思考过程变成人类能读懂的语言，我们就会失去可解释性带来的安全优势——万一AI给出了错误结论，我们很难查出问题出在哪一步。

对于日常用AI查资料、写文案的人来说，你只会拿到AI给出的最终结果，不会看到它推导的每一步。

如果结论出错，我们没法回头核对AI的思考逻辑，只能自己再花时间验证一遍。

一边是更便宜、性能更好的AI服务，一边是越来越看不懂的内部推理，你会怎么选？