1000万Token上下文窗口 Fern模型把整个仓库装进去
程序员把整个代码仓库拖进AI对话框,让它直接读懂全部代码逻辑再动手改功能,是很多人期待的工作场景。过去受限于上下文窗口大小,这类操作往往要拆分文件、反复上传,中途还容易丢上下文。
2026年3月,前Anthropic研究人员创立的AI初创公司Mirendil,发布了自研的首个大语言模型Fern。这个模型没有在现有开源模型上做微调,而是从零开始训练——也就是调整模型全部权重参数来编码知识,通常需要消耗大量时间和预算。它的核心特性是支持最高1000万Token的上下文窗口,相当于一次性装下约50万行代码,或是AI智能体连续工作数天产生的全部对话记录。
@shayan_ 表示:Fern是我们从零训练的第一个模型,拥有1000万Token上下文窗口,专为高负载智能体编码和AI研究工作打造。@tararezaeikh 补充道:你可以把一整个甚至好几个代码仓库都放进上下文里,持续推进复杂问题的解决。@bneyshabur 提到:Fern 0.1版本已经完成了短周期的后训练流程。
这个参数级别的突破,刚好踩中了当前AI智能体落地的核心痛点。2026年的相关研究显示,复杂编码智能体任务的Token消耗量级,能达到传统代码问答任务的1000倍。此前主流模型128K或200K的Token限制,会让多步骤智能体在长循环运行中遇到瓶颈,靠压缩、摘要或截断处理上下文,往往会带来状态丢失、引入错误的问题。
不过大上下文窗口也不是装得下就等于用得好。已有研究指出,大语言模型的上下文存在排序效应:模型天然更关注近期输入的内容,如果把关键信息放在超长提示词的靠前位置,会和这种特性形成竞争,往往还没到窗口容量边界,回答效果就已经开始下降。
目前Mirendil正以10亿美元估值为目标,融资1.75亿美元,聚焦AI驱动的科学发现方向。Fern的核心推文发布后获得了1709个点赞、13.7万次浏览,863次收藏,不少开发者在评论区询问开放测试的时间。
当AI智能体可以连续数天自主处理任务、全程不丢失上下文,人和AI的协作边界会被推到哪里?
📎 参考来源
- LLM Context Window Comparison (2026): 20 Models From 200K to 10M Tokens, Priced per Full Window | Morph
- Claude 1M Token Context Window: What It Means for AI Agents and Long-Running Tasks | MindStudio
- Meet Mirendil: The New AI Startup Aiming to Revolutionize Scientific Research | OpenTools
- Ex-Anthropic researchers launch Mirendil, target $175M at $1B valuation for AI-powered scientific discovery - Tech Startups
- Big Techs' Covert Battle for the 100-Billion-Yuan Market: AI Coding Track Positioning, Key Players & Industry Uncertainties
- How does LLM Fine-Tuning differ from training a model? — Deepchecks