姚顺雨清华闭门分享:小模型才是AI未来主战场
🔥更多补充!腾讯混元负责人姚顺雨清华大学闭门分享最干货笔记来了!四大核心观点句句如金!涉及AI模型、数据、RSI,值得细品!
1️⃣小模型体系才是未来主战场
AI for AI会大幅加速小模型爆发。因为小模型训练成本低,能疯狂做实验。未来很可能先训一个超强基座大模型,再通过蒸馏得到不同尺寸、适配不同任务的模型,最终形成Model Hierarchy。模型价值将越来越取决于:能不能用合适的成本精准匹配具体任务。
2️⃣工业非文本数据是被严重低估的金矿
时间序列、临床数据、结构化表格……这些模态直接训原生模型,推理能力经常拉胯。姚顺雨给出两条破局路径:
🔹让Agent像人一样调用图表、专业工具,甚至专门训小模型处理数据;
🔹把这些专业数据直接作为知识注入模型体系。
3️⃣RSI(递归自我改进)本质很朴素
别被概念忽悠。
RSI核心就是用AI把研发闭环跑得更高效。真正推动进步的,从来不是天天造新词的人,而是那些持续修Bug、清数据、跑实验、Debug的人。AI研发自动化最大的机会,在于让模型真正参与下一轮数据生产、实验验证和代码迭代的闭环系统。
4️⃣小规模实验失败≠方向没价值(血泪教训)
姚顺雨亲身经历:
博士后期把ReAct策略融进模型,在Llama-13B上效果惨淡,一度怀疑自己。后来才醒悟,模型规模不够时,实验噪声会把真正信号淹没,研究者很容易误判方向。大模型研究必须结合理论推导 + 小规模实验预判大规模结果,并搞清楚哪些结论能跨规模迁移。
这四点直接戳中了当前AI模型落地的核心痛点:成本、模态、闭环、实验判断力。
小模型+AI for AI才是真正未来!
#AI #腾讯 #小模型 #腾讯混元 #姚顺雨 #清华大学 #RSI