Ilya的SSI八月将发新模型,走完全不同的技术路线
‼️突发:前OpenAI联合创始人兼首席科学家ilya的创业公司SSI即将发布他们的第一个模型🤯 知名科技投资人 @GavinSBaker 在最新一期《Invest Like the Best》中透露, @ilyasut 创办的 @ssi 称,他们将在今年8月发布自己的模型。更值得关注的是,Gavin称SSI目前���技术路线是一条全新的技术路线:持续学习和样本高效学习。现在的大模型,通常需要先在海量数据上完成一次训练,上线之后参数基本固定。
想让它学会新东西,要么重新训练,要么微调,同时还可能遗忘原来的能力。持续学习想解决的问题是,让模型像人一样,在部署后不断吸收新的经验,同时不忘掉之前学过的东西。Gavin提到,最近有不少团队认为自己已经非常接近解决这个问题。
未来可能不再需要用300万亿token训练一个巨型模型,而是先训练一个较小的基础模型,再让它进入真实世界持续成长。不过,目前「SSI已经破解持续学习」仍然只是外界的推测。Gavin的原话只是说,很多团队已经接近解决持续学习,并紧接着提到SSI将在8月发布模型。
SSI自己还没有公布模型的能力、架构或者发布时间。但此前的一些迹象确实能对得上。上周,SSI刚刚和英伟达达成长期战略合作。
英伟达不仅投资了SSI,还将提供最新的Vera Rubin系统,让SSI的算力规模扩大一个数量级。FT报道称,英伟达这次投资了约50亿美元,帮助SSI扩展一项已经取得的研究突破。所以这个模型真正值得关注的,可能不是它能不能在榜单上超过Claude或者GPT。
而是Ilya有没有拿出一套不同于继续堆参数、堆数据、堆算力的新学习机制。如果真有,AI的下一个阶段可能不是更大的模型。而是会继续学习的模型。
AI还在突飞猛进啊🚀