TensorSharp：聊天、出图、剪视频都在本机，免费

TensorSharp 是 .NET 10 推理引擎，专门在本地跑 GGUF 格式的模型——本地大模型常用这种格式。Windows、macOS、Linux 都能跑，iPhone、iPad、Mac、Windows 上还有配套应用 TensorAgent。没有独显时，纯 CPU 也能带起来。使用方式有三种：命令行、浏览器聊天、Ollama/OpenAI 兼容 API；想嵌进自己的 .NET 程序也可以。引擎免费，作者接受捐赠。

它能做的事比“聊天”宽得多。文本、推理、多模态输入、嵌入是基础；图像生成与编辑、带音频的视频生成、个人知识库、Agent Skills 代码工具也归它管。内置 17 个技能，包括研究、文档、TDD、设计面试和交接。知识库可以上传文件或嵌套文件夹，也能导入保存的聊天记录。检索默认走本地 BM25，加可选的 GGUF 嵌入就有语义搜索。模型还在回答时，你可以提交一条新指令，它会顺着已有内容把这次回答接下去。

视频这块不是生成一段就完事。它有持久的多轨编辑器，生成任务在本地跑，代理提案需要你确认，支持撤销/重做，最后用本地 FFmpeg 导出。聊天支持有界子代理委派，子代理的私有工作区默认只读。多个代理可以自动委派任务、按依赖调度、设权限限制，评测可复现。代码执行在沙盒里，工作区与工件有路径/ZIP/exec 安全模型。知识库能提取文档、PDF 和媒体，引用带预览。浏览器自动化走 Playwright；文本扩散模型 DiffusionGemma 做 Jev 类型决策推理，端点是 /v1/systemone。

速度有官方对比，数字是 2026 年 10 月 23 日审计的。在匹配的约 1.8K DeepSeek 提示词上，精确 TP5 预填充是 llama.cpp 的 3.23 倍；默认的近似 YOCO 模式是 5.50 倍，但这个快有质量代价。看 wikitext-2 困惑度，越低越好：YOCO 2.4978，精确 2.4811，llama.cpp 2.4697。默认模式确实牺牲了一点精度。测试条件也明确：DeepSeek V4.1 Flash 1017 在五块 A40 46GB GPU 上测的，Muse Spark 用了十块 A40。

底层默认开着连续批处理、分页 Radix 前缀共享的 KV 缓存，调度器是 vLLM 风格的迭代级。推测解码用三层设计——模型适配器、算法、推测器权重；算法带自动、草稿头、块、n-gram 几种。多 GPU、多节点、NVIDIA DGX Spark 都支持。后端有纯 C# CPU、CUDA/cuBLAS、MLX Metal、GGML 的 CPU/Metal/CUDA/Vulkan。换句话说，没独显也能玩，只是慢。

能跑的模型不少。文本这边，DeepSeek V4 Flash / V4.1 Flash、GLM 5.x、Gemma 4、Qwen 3.5/3.6/3.8 27B、Qwen 3.8 Flash Next 都在列表。冷门一点的 Bonsai2、GPT OSS、Nemotron-H、Mistral 3、Hunyuan Dense、Muse-Glimmer 也有位置。Muse Spark（816B MoE）和 MiniMax-M3.1-Flash（428B MoE）属于大家伙，要多 GPU 才带得动。图像生成与编辑用 Qwen-Image-2.1 和 Turbo，掩码编辑和 8 步 Turbo 都行。视频生成是 LTX 2.5 Distilled（48 kHz 立体声）和 MiniMax-H3（32 kHz 立体声）。嵌入有 EmbeddingGemma 2，能处理文本、代码，图像、音频、视频输入可选。BERT/XLM-R 编码器包含 Snowflake Arctic Embed L v2.0 和 all-MiniLM-L6-v2。

TensorAgent 的模型目录有 38 个条目，按模型家族分组，带搜索，能按内存和下载过滤。LTX 2.5 Distilled 有一个实验性的 48GB 内存层级。Qwen-Image-2.1 Turbo 提供 4-bit/8-bit 量化。另外还有 14 个图像 LoRA 插件、2 个 MiniMax-H3 Turbo 速度插件。量化级别有 Q8_0、IQ1_M 这些。Qwen 3.8 Flash Next 把权重放在 SSD 上，Q2 包在 48GB Mac 上测量，IQ1_M 在 Windows 目录主机上有单独验证。

当服务器用要留个心眼：默认监听 0.0.0.0:5000，没有内置认证和 TLS。放在防火墙后面，或者套一个带认证的 HTTPS 反向代理；直接暴露公网不安全。配置写进 JSON 文件，支持 ${variables} 和模型自动下载。批量任务走 JSONL。服务器 API 有完整的 curl 和 Python 示例，支持结构化输出、工具调用。界面有 8 种语言，文本轮次统计会持久化。环境变量功能矩阵标明哪些运行时开关影响模型、后端和提示类型。测试/基准矩阵运行器会扫模型×后端×功能×环境变量的组合，自动生成回归报告。

作者写了两本配套书。《Building LLM Inference Engines and Agentic Runtimes from Scratch》讲从零构建推理引擎和 Agent 运行时。另一本《From Tensors to Tokens》用 TensorSharp 和 Gemma 4 E4B 从零搭一个多模态推理引擎。引擎免费，作者接受捐赠。免费归免费，但商用许可是另一回事：许可协议具体条款和商业使用是否允许，没有明确说明。