AI Pulse
📡 X 信号

斯坦福英伟达联合推出CLM大模型,推理速度比Jev快13倍还开源

斯坦福英伟达联合推出CLM大模型,推理速度比Jev快13倍还开源

🤯什么?!斯坦福 × 英伟达新模型 CLM 速度吊打 Jev 13倍! CLM 模型不逐字生成,直接状态向量 vs 动作向量选最优解!

核心亮点:
🔹约 1024 个候选时快到 13 倍
🔹状态 / 动作向量可拆开缓存,动作提前算好反复用
🔹轻量微调当「裁判」:DeepSWE 挑中方案通过率 81.6%,Terminal-Bench 2.1 达 87.6%
🔹开源 Apache-2.0,75MB 投影头 + Qwen3-8B 编码器,单卡就能跑

快速上手步骤:
1️⃣pip install contrastive-lm,用 vLLM 起 Qwen3-8B pooling 服务 + clm-serve
2️⃣下载任务头:hf download Contrastive-LM/deepswe-clm-heads-8k --local-dir heads/deepswe
3️⃣评测:python evaluation/bon_eval.py --hf-dataset Contrastive-LM/deepswe-clm-embeddings-8k --checkpoint heads/deepswe/best_head.pt --n 4
4️⃣自己微调:python train/finetune.py --task clm --init-ckpt "$(clm-download)" --out-dir runs/deepswe --batch 512

代价也说清楚:它只在给定候选里挑,不会凭空生成新动作。

#CLM #对比学习 #AI智能体 #SystemOne #大模型推理加速 #斯坦福 #英伟达 #向量检索 #AI论文解读 #VistrendAI

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新