AI Pulse
🔥 热点深度解读

1000万Token上下文窗口 Fern模型把整个仓库装进去

程序员把整个代码仓库拖进AI对话框,让它直接读懂全部代码逻辑再动手改功能,是很多人期待的工作场景。过去受限于上下文窗口大小,这类操作往往要拆分文件、反复上传,中途还容易丢上下文。

2026年3月,前Anthropic研究人员创立的AI初创公司Mirendil,发布了自研的首个大语言模型Fern。这个模型没有在现有开源模型上做微调,而是从零开始训练——也就是调整模型全部权重参数来编码知识,通常需要消耗大量时间和预算。它的核心特性是支持最高1000万Token的上下文窗口,相当于一次性装下约50万行代码,或是AI智能体连续工作数天产生的全部对话记录。

@shayan_ 表示:Fern是我们从零训练的第一个模型,拥有1000万Token上下文窗口,专为高负载智能体编码和AI研究工作打造。@tararezaeikh 补充道:你可以把一整个甚至好几个代码仓库都放进上下文里,持续推进复杂问题的解决。@bneyshabur 提到:Fern 0.1版本已经完成了短周期的后训练流程。

这个参数级别的突破,刚好踩中了当前AI智能体落地的核心痛点。2026年的相关研究显示,复杂编码智能体任务的Token消耗量级,能达到传统代码问答任务的1000倍。此前主流模型128K或200K的Token限制,会让多步骤智能体在长循环运行中遇到瓶颈,靠压缩、摘要或截断处理上下文,往往会带来状态丢失、引入错误的问题。

不过大上下文窗口也不是装得下就等于用得好。已有研究指出,大语言模型的上下文存在排序效应:模型天然更关注近期输入的内容,如果把关键信息放在超长提示词的靠前位置,会和这种特性形成竞争,往往还没到窗口容量边界,回答效果就已经开始下降。

目前Mirendil正以10亿美元估值为目标,融资1.75亿美元,聚焦AI驱动的科学发现方向。Fern的核心推文发布后获得了1709个点赞、13.7万次浏览,863次收藏,不少开发者在评论区询问开放测试的时间。

当AI智能体可以连续数天自主处理任务、全程不丢失上下文,人和AI的协作边界会被推到哪里?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新