视频读取指的是 AI 把一段视频转换成模型能够理解和推理的内容，这是视频理解中最基础，也最消耗成本的一步。传统做法是把整条时间线按固定帧率解码成图像序列，再全部送入上下文窗口；视频越长，帧数、token 数和费用就越多。围绕这个瓶颈，近一年出现了多种新的读取路径，从采样策略、工具调用到长上下文架构都在改变。
旧办法的核心是“均匀采样”：模型以每秒 1 帧的固定帧率解码整条视频，把全部视觉数据填进上下文。这种方式实现简单，但没有任何取舍——不重要的画面和关键画面被同等对待，长视频的上下文会随之迅速膨胀，费用也随着时长同步上升 [8]。
智能体式读取改掉了这个前提。视频不会提前全部加载，API 只传一个轻量引用，初始上下文里仅有元数据，例如时长、容器格式和文件 ID。模型按照 Think → Act → Observe 的循环工作：先判断问题缺什么信息，再发出内部工具调用，只拉取特定时间窗口或特定模态的片段；观察结果返回后，它可以继续细化，也可以直接给出答案。对以语音为主的内容，先读带时间戳的转录，再决定要不要做视觉检查；需要看画面时，通过时间缩放只加载相关窗口，比如第 14 秒到第 16 秒 [8]。这套机制让长视频分析成本最高降低 66% [8]；在 Gemini 上，同等处理最多可减少 88% 的 token 消耗，同时准确率最高提升 7% [2][4][12]。这也与更宏观的趋势一致：处理复杂任务时，智能体已成为默认选择，人们直接把工作交给 Claude Code、Codex 或 Antigravity 这类工具 [1]。
另一条路线从模型架构入手，解决“读得下长视频”的问题。快手开源的 Keye-VL-2.0 把稀疏注意力机制嫁接到多模态架构上，只关注真正重要的帧和长程时序关系，而不是逐帧查看；它能无损处理 25.6 万 token 的上下文，相当于 1 小时视频，而每次激活的参数只有 30 亿 [17]。还有研究把“看”和“想”拆开：先像翻书一样逐页浏览视频，把关键事件和因果关系画成场景、事件、细节三层的记忆地图，再让推理模型在地图上搜索线索，实际读取的内容只占全片的 2%，准确率却比此前最好的模型高 12.5 个百分点 [18]。开源侧还有用膨胀 3D 视觉 Transformer 把视频处理成本压到接近图片级别的尝试，让 4B 参数模型在短视频、长电影、直播流三类场景下都能运行 [20]。
读取能力的上限也已经被更严格的评测暴露出来。OmniCompass 基准测试了 50 个模型，开源模型在需要同时看画面和听声音的任务上仍明显落后于闭源模型，连最强模型也搞不定精确的“什么时候出现、在哪出现” [5]。Video-IFBench 用 1500 道题考察视觉、音频和格式的多重约束，结论是指令越复杂、约束越多，模型表现越差 [7]。更具颠覆性的是一项把考试从答题改成动手重建的研究：最强模型重建画面的观感相似度达 88.6%，但被问及视频里发生了什么、物体怎么动、先后顺序如何时只答对 53.7%，说明它能画出像样的画面，却没真正看懂内容 [15]。相比之下，Video-DR 在 200 道复杂视频问答上准确率 64%，超过 Claude-4.5-Sonnet 五个点，GPT-5 只有 52.5% [9]。
视频读取的能力正在从“能读”走向“读得省、读得准、读完还能纠错”。开源实时视频理解模型已在多个流式测试中超过主流开源基线，并以 Apache 2.0 许可证开放商用 [3]；Keye-VL-2.0 看完视频后还能调用代码、工具和搜索来验证答案，比如拿不准人物去了哪家店就去搜地图 [17]。工程侧出现了把理解、剪辑、生成放进同一流程的 VideoAgent 框架 [10]，以及能通过分析视频复刻同款剪辑的 Claude Code Skill [11]。在生成方向，记忆机制也被正式当作一种能力来研究，让模型在原始画面离开视野后仍能保留历史信息 [6][14]，而 DreamX 更进一步，把视频扩散模型压缩 300 倍后只提取“动作”这一核心，让人做的动作可以直接指挥机器人 [13]。这些进展共同指向一件事：视频读取不再只是解码画面，而是在决定看什么、看多少、以及看完之后如何验证。