AI辅助数学研究:能力、局限与人类角色的再思考
“实践者方能有所得。”——尼采
当我重新开始研究纯数学时,我的妻子提出了一个合理的问题:你做这件事为什么和Aigora无关?
她确实说得有道理。我运营着垂直领域企业AI服务公司Aigora,有客户要服务,有产品要开发,没有客户要求我证明微分几何定理。
我诚实的回答是,我这么做只是出于好奇。
2004年,我在加州大学圣巴巴拉分校拿到微分几何博士学位,之后进入计算神经科学领域,我最后一篇数学论文和我的博士生导师Guofang Wei合作,发表在2010年的《Geometry & Topology》上。
在此之后我转向统计学、数据科学,在我熟悉的感官科学领域创办了Aigora。纯数学对我仍然重要,我也依然认为自己是数学家,但它不再是我的日常工作。
两篇具体的报道把我拉回了数学领域。2026年1月,一篇关于Erdős第728号问题的文章介绍了GPT-5.2 Pro配合Harmonic的Aristotle生成了经Lean(证明辅助工具)验证的证明。
2026年5月20日,OpenAI宣布,其内部模型推翻了Erdős平面单位距离问题中存在已久的网格最优猜想,专业数学家已经验证了证明过程。
这吸引了我的注意,也让我产生了一个实际问题:在大型实验室的私有模型之外,这项技术实际表现如何?这些报道展示了前沿的可能性,但没说明独立研究者用可公开访问的模型能复现什么结果,也没说明失败尝试、似是而非的伪证、人类引导,以及把答案整理成规范数学成果需要做多少工作。
我已经用编码代理、并行验证、数值实验和对抗性评审搭建了自己的工作流“Elves”。我不想要新的基准测试,我想把这套工作流用在会惩罚浅层次答案的真实问题上,还要让专业数学家评判结果。
2026年5月26日,我给Guofang发邮件询问,如果她有更多时间会研究什么问题。她给了我一个关于双曲空间大球基本间隙的问题。
基本间隙是一个区域前两个狄利克雷特征值的差,可以理解为鼓的前两个固有频率,只不过这面鼓存在于负曲率空间中。对于半径为 r 的双曲大球,Guofang想要得到间隙展开式中 1/r³ 项的系数。
我当天下午4点23分收到问题,大约84分钟后的5点46分,就发送了猜想答案:λ₂(Bᵣⁿ) − λ₁(Bᵣⁿ) = 4π² / ((n − 1)r³) + o(r⁻³)。
这套AI工作流找到了正确的问题表示方法,把维数位移恒等式和文献中已有的渐近展开联系起来,完成计算的速度比我检索相关文献还要快。但速度本身不代表数学结论成立,得到答案后第一步,就是把它交给有资质的专家质疑。
证明大纲不是论文
大球计算很快引出了一个更大的问题:双曲空间中一般 horoconvex 域的基本间隙可以得到什么结论?Horoconvex性比普通凸性更强——边界向内弯曲程度更大。这种更强的性质很重要,因为负曲率空间中的普通凸性太弱,无法仅通过直径控制间隙。
我们确定的目标不大但很明确:对于直径 D 很大的 horoconvex 域,我们要证明间隙收缩速度不会快于 1/D³ 阶。不需要精确常数,也不需要极值定理,只需要得到大直径域正确的多项式阶。
真正的难点在几何层面:大 horoconvex 域可以和完美球相差很大,证明过程既要控制这种偏差,还要分离出决定间隙的微小效应。大球计算就是去掉复杂耦合后的简化问题。
大约两天内,AI工作流就生成了证明大纲。5月31日,我已经把完整草稿发给了Guofang。草稿存在重复论证、符号变更、先使用对象后定义的问题,有时为了行文流畅还会隐藏必要细节。
我搭建了一个证明解释应用来梳理内容,但如果一篇论文需要自定义软件才能读懂,它就还没准备好。
Guofang拉她的丈夫Xianzhe Dai加入项目,他已经开始和她一起验证证明,她还邀请了之前在这个问题相反方向(大直径上界)合作过的Hien Nguyen参与。
Guofang不断寻找分析核心更简单的路径,后来给出了指数衰减简化方案,改变了证明核心部分的呈现方式。Xianzhe优化了论证的结构和可读性。Hien对一个低维命题提出质疑,梳理了维数位移过程,提供了径向高度图,还承担了严格的结构编辑工作。
她精准指出了AI容易积累的文稿问题:重复证明、符号不一致、定义缺失,以及去掉读者所需关键细节的过度简化。
有一件事能体现分工:Guofang找到简化思路后,Claude Fable完成了大规模重写,随后GPT-5.5发现了边界斜率估计中的一个真实漏洞,修复它需要低能Jost展开,而不是再一轮行文润色。
由Xianzhe Dai、我、Xuan Hien Nguyen和Guofang Wei合著的论文,在6月10日提交到arXiv,标题为《Horoconvex域大直径基本间隙下界》,目前正在准备同行评审发表。这是我16年来第一篇数学论文。
计算用了84分钟,证明大纲约两天,完整草稿约五天。让数学内容站得住脚、表述清晰则花了更长时间,目前仍在进行中。
人类改变了证明
专业领域的反应分阶段形成。第一次计算就带来了真正的惊喜,到完成第一份完整草稿时,这个结果看起来确实值得发表,它得到了专家预期但从未证明过的界。不过认可定理不代表认可文稿。
最初认可这个结果的数学家都读不懂早期草稿,核心算子表述模糊,分析核心引用了陌生工具却不解释为什么要用它。
到6月6日,主论证已经有大约35页,核心观点却依然难以捕捉,经过重新组织后篇幅还超过了40页。哪怕读者已经建立了全局认知,他们也认为证明需要围绕这个全局认知重新构建。
他们把AI输出当成研究素材,而不是现成成果。他们质疑维数位移过程,按各自专长拆分技术引理,用已知更精确的界替换复杂估计,检查边界条件和符号,对用大量单独工具处理关键维度的做法提出反对。他们要求论文从大球和一般域的映射关系开始写,再按目的组织估计,尽可能用同一个思路处理所有维度。
AI草稿保留了发现顺序,它保留了每一次成功的绕路,把脚手架和核心观点放在同等重要的位置。而正式论文必须明确哪个对象是核心,哪个估计支撑论证,以及为什么需要这些假设。
专家的判断既不是AI解决了问题,也不是AI输出了垃圾。AI找到了真实的数学结论和证明路径,但它找不到最简洁的证明,也不会用数学家自然可读的形式解释论证。把路径变成合格论文,需要新的思路、简化、重构和逐行的数学把控。
到7月1日,我得出结论:AI生成候选数学成果的速度,比我们能稳妥消化的速度更快。数学家的工作可能会变多,而不是变少。
速度需要刹车
2026年5月30日和31日,我在X上公开分享了这个项目和摘要。6月9日,SangHyun Park发布预印本,通过不同的渐近路径得到了相同的 D⁻³ 阶结果。他的论文提到了我们的公开声明,我猜测他只是把我的摘要交给GPT-5.5 Pro生成证明,这当然比你不知道命题真假的情况下去找证明简单得多。不过具体情况未知,也不重要,我们的论文还是在第二天按时提交了。
速度不再起作用
Guofang还给了我一个难得多的问题,至今仍然未解决。在完成第一个项目后,我不打算在这里公开这个猜想和现存的证明路径。第二个问题展示了速度什么时候不再起作用。
我们一边尝试证明,一边搜索反例。我们推导恒等式、搭建简化模型、设计计算来推翻有吸引力的中间命题。每一个有用的陈述都会记入带状态和来源的命题台账,失败的路径也会保留记录,避免新模型把它们当新结论重新发现。
编码代理直接在代码仓库工作,调用外部模型、运行检查、生成图表、整理评审包。过夜运行可能会得到一个有希望的引理、一个反例,也可能在错误命题上浪费六个小时的工作。每一次运行都需要交接记录,说明修改内容、未解决问题和证据存放位置。
到7月20日,台账已经记录了超过330个调用组,有些对应一次响应,有些对应一次评审群调用。
Git提交记录可以体现项目规模。从5月26日仓库第一次提交到7月20日,项目各分支累计产生了3454次独立提交。在6月14日到7月4日最密集的21天里,共有2143次提交,平均每天超过100次。
这个数字不是质量指标,是管控指标。一次提交可能包含候选引理、反例、计算、对抗性评审、修复后的证明,或是记录一个有吸引力的思路已经失败。
有一次,我让一个Elves任务连续运行了12天,它的随行功能允许我输入新信息、调整方向,不用结束任务也不用丢弃工作记忆。12天就是288小时的实际调度,我们通常同时运行多个代理,按平均并发3个计算,这一阶段大约相当于864个代理小时。
这不是864小时的纯模型推理,更不是864小时GPU运算,它包含文献检索、模型调用、本地计算、代码执行、API延迟、评审和生成可审计工作成果的过程。但它仍然可以纠正一个误区:AI证明不是对一个 prompt 得到一个答案就完成了。
7月“证明或推翻”运行的前两个结果,看起来都是完整证明,一个来自Gemini,一个来自Grok,都没有通过局部检查。
模型经常通过弱化量词、把局部陈述全局化、把简化模型直接推广到原问题、把平均估计变成逐点控制,得到一个看起来完整的全局证明。这样的证明能通过五次正向评审,因为所有评审者都继承了同一个隐藏假设。
通过投票只代表评审者在给定上下文里没找到缺陷,多个模型意见一致永远不等于证明。
我们证明了特殊情况、推导了有用的恒等式、排除了很多有吸引力但错误的路径。问题范围已经缩小很多,但还没有解决。
模型排名
基于我的使用经验,在微分几何场景下,各模型表现排名如下:
5.6 Sol:最擅长证明架构和最终修复,能看清完整证明链,发现错误尺度,检测过期目标和隐性范围变更,还修复了我们的AlphaEvolve评估器。典型缺陷:为比我们目标更窄的命题完善了严谨论证。
Claude Fable 5:最擅长深度推导和长文重写,能在度量、端点、常数和数十页内容中贯彻人类思路,在Guofang给出简化方案后重构了公开证明。它最优雅的推导有时依赖一个漂亮但未证明的全局命题。
Sakana Fugu Ultra:最擅长对抗性评审,能异常持久地检查符号、约定、分部积分、量词、证明凭据和隐性假设升级。但速度慢且死板,缺失上下文会把约定问题误判为错误。
Kimi K3:最擅长提出原创机制,能提出最奇特、有时也最有希望的变换和辅助对象,还输出过干净的中文因式分解。但它会发明术语、在假设范围外使用估计、把缺失定理重命名为引理,长运行有时没有输出。
GPT-5.5 Pro:最擅长精准的局部批评,它发现了公开论文边界斜率估计中的真实漏洞,迫使我们用低能Jost展开替换了原来的笼统表述。缺点是成本高,在全局证明设计上的表现不如5.6 Sol和Claude Fable 5。
Gemini 3.1 Pro:最擅长保守代数计算和裁决,能恢复精准恒等式、检查范围,对有界命题给出可靠的二次判断。它也生成过一个看起来完整但没通过局部检查的证明,还最初认可过一次错误修复,之后才推翻结论。
Grok 4.5:最擅长简洁的质疑,能捕捉过度断言、缺失一致性,以及结论比凭据更强的问题。它会漏掉部分范围限制,还曾经和另一个评审者共同犯了一个因式错误。
Muse Spark 1.1:最擅长独立长上下文评审,能增加有用的多样性,校准后输出过严肃的替代框架。它漏掉了5.6 Sol发现的数值凭据缺陷,有时会用完输出额度却得不到结论。
GLM 5.2:最擅长低成本替换和路径批评,偶尔能刚好找到我们需要的简化变量替换,但太多空调用或截断调用,让它无法可靠管控证明。
Qwen 3.7 Max:最擅长低成本提出不同意见和有界推导,帮助我们推翻了一个有吸引力的中间命题,能可靠完成开放语言运行,但会出现精确代数、答案锁定和量词错误,需要符号重放验证。
DeepSeek V3.2:最擅长常规二次检查,能处理普通计算,低成本提供额外投票,但太容易认同他人,在记录中的占比太低,无法信任它处理关键关卡。
Gemini 3.5 Flash:最擅长编辑和转录,清理、图片辅助注释和低成本合理性检查速度快,处理精细证明代数能力弱,容易把侦查性结论提升为正式命题。
K3还让我意识到,更多上下文不总是更好。三次全语料调用里,它消耗了65536个完成token却没有输出可见文本。给它整个项目内容它会陷入思考,给它提炼过的1000token问题图,它反而能输出优秀结果。
按任务分工,我推荐K3做创新、5.6 Sol做证明架构、Claude Fable 5做深度推导和长文重写、Fugu Ultra做对抗性评审。当代数结果可以重放验证时,Gemini、Grok和Qwen适合做低成本有界检查。对于计算发现,带确定性评估器的AlphaEvolve表现 often好于其他聊天模型,但前提是5.6 Sol和人类已经审核过评估器。
我最终确定的团队分工很简单:K3提出思路,Claude Fable 5拓展完善,5.6 Sol修复漏洞,Fugu Ultra攻击验证。
当prompt不再起作用
当普通prompt不再有帮助时,我尝试了进化搜索、图片、其他语言和微调。
AlphaEvolve
AlphaEvolve搜索对候选公式、轮廓和有限维配置打分的程序,它不会读定理也不会证明定理。
我们第一个评估器用了错误的标度,接纳了无效候选,还给结果贴错标签,这些缺陷是5.6 Sol发现的。修复后,AlphaEvolve能重新发现精准公式、找到接近正确的结果、生成对抗案例、给命题做压力测试。
生成的程序只有经过局部重放和数学解释才有意义,优化器优化的是你写的打分规则,不是你想证明的定理。
用图片和视频思考
我们给Gemini Pro和Gemini Flash输入几何图和残差图。图像能帮助发现方程中不明显的机制和失效区域。最有力的视觉直觉是错的,另一个也只在狭窄参数范围内成立。图片的用处在于让错误想法足够具体,可以检验。
用其他语言思考
我们测试了让K3和Qwen用中文推理是否有帮助。我们翻译并随机打乱了一组控制问题,每种语言重复运行三次。
在早期实验中,K3用英语答对8题中的7题,用中文答对8题中的8题。第一次中文运行找到了第一次英文运行漏掉的干净因式分解,路径本身也更好。在更大规模的测试中,K3英文答对72题中的72题,中文答对72题中的71题;Qwen英文答对72题中的65题,中文答对72题中的62题,中文没有提升准确率。
创造力更难打分。换语言会改变思路,有一条中文路径确实比对应的英文路径更简洁、更有创造性。但这些开放思路没有一个最终成为证明,K3的所谓中文跟踪记录大部分还是英文。我不能说K3“用中文思考”,我只能说prompt语言会改变输出结果。
这让我想起一个著名跨文化研究,美国和伊朗参与者读类比故事时,会提取文化熟悉的民间故事,不熟悉的则不会。记忆中储存的故事不同,想到的类比就不同。大语言模型不是听着民间故事长大的人,但不同语言可能激活不同的示例和关联。英语依然是我们保证正确性的默认选择,想要创新,换语言是低成本的扰动,我不会更信任结果,只会期待结果不一样。
模型学到的是记忆,不是判断
已发表的数学只记录成功的思路,数学家还会记住多年来失败的思路。这种负面知识是数学品味的一部分,大部分从来不会出现在论文里。
我们的存档里包含这些失败工作,因此我们搭建了一个3742个样本的语料,在项目的定义、已证明引理、失败路径和状态标签上,微调了一个私有的Gemma 4 12B适配层。数据记录了来源、置信度,以及“已证明”“按标注可用”“表示已检查”“仍开放”几种状态的区别。没有这些标签,存档只会带来混乱。
微调后的适配层把项目召回率从约0.27提升到0.39,近期K3工作的召回率从约0.36提升到0.79。但错误提升率从约0.73恶化到0.76,特定来源的综合能力仍然为零。它学到了更多记忆,没有学到更好的判断。我们没有把它用在定理研究上。
Lean让隐藏的假设变得可见
另一个项目让我对这些模型有了不同看法。它用证明辅助工具Lean形式化加法组合学的一份笔记——这类论证里,“通过标准论证”这样的表述常常悄悄隐藏了全部难点。
Lean不允许这种情况,缺失的假设不能消失在标准论证里,它必须成为一个证明、一个明确的假设,或是一个命名的依赖项。形式化这份笔记暴露了文字表述掩盖的好几个真实问题:一个引理使用了有界性假设却从来没有明确提出来,一些权重需要归一化而不只是非负,文字跳过的一个系数情况需要单独分支处理。每一个发现都带来了论文的一次修正。
这种环境很适合AI代理,它们可以把大路径拆分成小目标,搜索Mathlib库、编译,再用错误信息选择下一步。当没有现成定理对应某一步时,它们可以把小碎片拼接成完整步骤,完成的工作不会有漏洞——没有借口、没有承认、没有没证明的内容。
早期代理目标太宽泛,过早声明表面已经检查完毕,我们退回到带明确假设的小命题,先证明能编译的小问题。
但Lean只检查你实际陈述的定理。有效的形式证明仍然可能基于比文字表述更强的假设,或者只证明了真实主张的简化模型。在几何项目里,一个隐藏的一致性错误可能需要好几天才能发现,在Lean里,很多这类错误会立刻失效。无论哪种情况,分工都不变:模型提出猜想,人类判断命题是否有意义,Lean检查形式化主张,专家判断它是否输出了有用内容。
档案必须记住失败
研究存档包含事实、猜想、反对意见、被取代的草稿、数值提示和失败论证。模型不知道6月18日那段流畅文字已经被6月19日的一行计算推翻,如果两者都进入prompt,更流畅的那段可能会被选中。
我们给每个成分都标注了来源、状态和置信度。失败论证成为负样本,数值结果保留数值形式,文献定理保留原始假设。
Fugu Ultra、Grok、Muse、Gemini和轮换评审会对比高风险记录和来源,发现范围不匹配和过期总结。它们不证明真理。
检索只能回答“存档里有什么”,不能回答“什么是对的”。
什么真正有效
我们只有当命题通过来源检查、可用确定性测试、对抗性评审后,才算取得进展。文献事实需要来源,计算需要可重复凭据,数值结果需要生成它们的代码和参数,失败路径保留记录。
这听起来很官僚,直到模型第五次自信地重新发现同一个已经被推翻的无效论证,你就会知道它的用处。
长任务运行过程中会留下所有记录,包括prompt、完成的案例、工作成果和失败点。我已经学会不相信没有底层证据的总结。代理可能会报告模型“完成”了证明,但实际输出是空的、被截断的,或是针对不同命题。
长上下文通常有害,包含精准目标、合法恒等式、失败路径和缺失引理的简洁问题图效果更好。不同任务分配给不同并行模型会有帮助。让十个模型判断一个证明是否正确,常常会得到十个重复了同一个隐藏错误的总结。
最常见的错误是隐性升级:固定变成一致,逐项变成求和,平均变成逐点,简化模型变成原问题。
模型在论证的开头和结尾表现最强,缺失的数学内容通常在中间:极限需要一致,误差项需要保持符号。“通过标准椭圆估计得到结果”这样的表述,常常隐藏了整个问题。
说“保持怀疑”只会得到怀疑性的文字,直接询问常数是否一致、变换是否保留假设,才能得到数学审计。
人类评审不能等到最后再做。AI提升了候选数学成果的产量,让筛选和管控变得更重要。
机器搜索,人类选择
在我之前的文章《Heaven and Earth》中,我提出过一个观点:机器处理工作流的中间部分,人类处理两端。人类决定什么值得做,机器帮助产出成果,人类判断结果是否真的合格。机器可以做优化,但目标函数来自别处。
数学让这个两端分工变得清晰。Guofang选择了问题,之后人类选择值得研究的推广、相关的缺失引理,判断一个正确论证是否值得发表。Lean可以检查我们陈述的定理,不能判断我们是否选对了定理。AlphaEvolve可以优化我们的评估器,不能判断评估器是否正确描述了数学。
机器负责的中间部分比我预期更大:文献综述、跨领域转换、猜想生成、计算、反例搜索、形式化、批评和文稿生成。人类的角色转向选择、引导、压缩和判断。
强大的工具带来更多可及的问题,而不是更少。84分钟的计算开启了一个一般域问题,之后又带来一个更难的后续问题。每一个答案都引出了此前成本太高无法研究的问题。
广度与转换
机器非常擅长文献综述,以及在不同领域之间转换思路。一个符号和术语不同的定理,可能和我们的问题有相同的逻辑结构。
我们给Manus Wide Research分配了大约50个子代理,每个对应一个数学子领域或相关变体,让它们找和我们问题逻辑结构相同的已有问题。有些结果夸大了文献结论,每个有希望的候选都需要原始来源验证。但搜索覆盖的范围比一个人能做到的大得多,能展示哪些机制存在类比,它们的假设在哪里失效。最终我们没有找到可以直接套用的定理。
人类专家对少数领域有深度知识,机器可以快速遍历多个领域,尽管深度不足。
计算与反例
代理可以展开公式、测试参数区间、对角化有限模型、写符号检查、运行暴力搜索不会疲倦。通常获得知识最快的路径就是直接计算。
搜索反例可能是最强的应用之一。引理听起来总是对的,直到程序找到三变量反例推翻它。AlphaEvolve和普通暴力代码推翻了很多中间思路,暴露了不合法的参数区间。现在第一个问题可以是:最小的什么搜索能推翻这个命题?反例能告诉我们下一个定理必须用什么假设。
最好的输出是小且可检查的:公式、反例、恒等式或有限凭据。输出越像散文,越难判断到底证明了什么。
持久性与负面知识
机器会在一条逻辑路径上走很久,久到数学家早就放弃了。人能提前感觉到符号永远对不齐,或是引理错了。只要路径在语法上没问题,机器就会继续走。这可能浪费几个小时,但也能准确展示路径在哪里断裂,过程中还可能发现恒等式、障碍,或是更弱的定理。
前沿模型已经学习了已发表的数学,这些内容大多只记录成功的工作。论文删掉了错误开端、失败替换和花了好几个月才发现的符号错误,训练语料里正面知识远多于负面知识。
数学家亲身经历过失败尝试,能在说清楚原因之前就认出熟悉的死胡同。他们知道哪些论证会失去一致性,哪些技术正确的引理偏离了真实结构。这种负面知识是数学品味的重要组成部分。模型只有记录,数学家亲身经历过尝试。
基于这个认识,我微调Gemma 4让它模仿这个领域经验丰富的几何学家,也得到了一些洞见,不过这项工作还不够成熟,无法完整说明。
证明还不是解释
AI倾向于按发现顺序写证明,如果三个部分用了同一个思路,它会产出三个平行论证,而不是提取出一个公共引理。它给简单代数和困难概念转换分配相同的权重。
结果可能正确有用,但依然不直观。让模型缩短证明,常常会隐藏细节,而不是找到更简单的论证。
共同作者发现了重复证明、符号不一致、先使用后定义、技术材料放错位置的问题。他们通读多个命题,能识别出一个统摄性思路。机器只看到合法步骤,数学家看出证明需要不同的结构。
这不止是写作问题,Guofang的指数衰减观察统一了AI分开处理的多个情况,Hien的重构既是编辑工作也是数学工作。
知道命题为真、有证明路径已经很有价值,但AI生成的初始证明很少是数学家会保留的那一种。它更长、动机不明确、启发性不足。模型可以解释窄问题,在数十页内容上贯彻人类的简化方案,它们无法可靠地退一步,站在读者的角度看论文,用一个思路替换好几页正确内容。
填补数学的坑洼
我预计近期会有很多成功案例。有些开放问题因为其他领域发展出了有用工具,已经闲置很久,大规模文献检索让它们变成有吸引力的目标。
错误猜想是另一个容易突破的方向。代理能搜索比人类能忍受的多得多的构型,把怀疑变成明确的反例。我们会看到被忽视的跨领域转换完成、缺失的案例被计算、错误陈述被推翻。
这个阶段进展可能会很快,之后简单的转换和可搜索的反例就会被做完,我们会遇到那些缺失机制不在文献其他地方的问题。
我们那个未解决的私人后续问题就已经接近这个前沿,代理已经缩小了问题范围,排除了错误路径。我猜测剩下的步骤,仍然需要人类数学家的负面知识、简洁性和全局直觉。机器已经通过指明方向,大大降低了人类工作的难度。
更难的问题仍然开放
经过八周、一篇论文、数百次模型调用、一次Lean形式化、进化搜索、可视化实验、语言研究和微调模型后,那个更难的问题仍然开放。
问题范围已经缩小,我们知道很多行不通的路径,可以快速推翻弱思路。
最初84分钟展示了AI能给数学研究速度带来多大提升,接下来八周展示了速度解决不了什么问题。机器负责的中间部分比我预期更大,人类仍然需要选择问题,决定什么才算合格的答案。
实践者方能有所得
这个项目从商业角度看几乎没意义,它和Aigora无关。我做这件事只是出于好奇,我学到的东西比读一百篇基准报告都多。
我知道了模型会怎么失败,并行代理什么时候能带来多样性,多少上下文算太多,以及为什么必须保留失败思路。我知道了坏评估器比优化器更危险,也知道了AI生成数学的速度比人类能稳妥消化的速度更快。
我用来运行多代理长任务的系统Elves,因为这个项目暴露缺陷得到了改进。交接更清晰,命题获得来源和状态标注,评审者分配不同任务,长任务会留下证据。这些知识都不会在动手之前得到。
不要等别人告诉你这些系统能做什么,他们也不知道。
选一个你在乎的真实问题,选一个足够难、流畅答案骗不了你的问题。让模型开工,检查它们的输出,注意它们哪里失败,改进系统再试一次。
亲身上阵。
实践者方能有所得。