AI Pulse

优化器Tauon 3000步稳定,AdamW 1200步后过拟合

Tauon想同时拿到Muon的精度和AdamW的速度。核心思路和Muon一致,围绕多项式和正交化展开。作者改了两处:先用谱滤波和系数调度把总步数压到2步,再用DCT-2变换缩小矩阵尺寸。两处改动都指向更低计算量。

测试在GPT-Mini上跑,训练集用TinyShakespeare,规模不大。验证损失上,Tauon收敛到约1.6,低于Muon的约1.65和AdamW的约1.8。速度上,Tauon每步391.5毫秒,比Muon的427.7毫秒快约8.5%,和AdamW的382.9毫秒接近。稳定性上,AdamW在约1200步后开始过拟合,Tauon在3000步内保持稳定。

但这些数字要打折看。作者自己承认基准“小得可笑”:Kaggle免费T4只剩2小时使用时间。他希望有人拿更大规模验证。评论区最高票意见也指出,AdamW先收敛到更低损失才开始过拟合,可能是学习率没调好。他建议三种优化器都做一遍学习率扫描再比。

作者最初在帖子里暗示Tauon优于Muon,随后在评论中道歉。改口说准确度“大约与Muon相当”,速度“大约与AdamW相当”。代码已在GitHub公开,也能从PyPI安装:pip install tauon-optimizer。它在更大模型上的表现、学习率调平后的相对优势,还没有答案。

阅读原文
📚 相关主题 机器学习开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新