14岁开发者用4GB显存笔记本打造本地AI听写应用Typd
用一个小型本地模型能做什么?一位 14 岁的少年,用一台搭载 4GB RTX 3050 Ti 的笔记本电脑,做出了一款本地 AI 听写应用,完成时间约 0.5 秒。
他原本用 Whisper + Qwen 来转录语音并润色文本。但他遇到了一个问题。他需要两个模型,而显存不足以完成这项工作。此外,他要等待 2.5–36 秒才能拿到最终文本。于是他训练了一个模型来同时完成这两项工作。
他开发了 Typd。他从开放许可的数据集中提取真实语音录音,并用一个大型 LLM 将其转录文本转换为润色后的文本。他过滤掉了 LLM 遗漏重要信息的样本。然后他对 Qwen3-ASR 1.7B 进行了微调,使其能直接从音频生成最终文本。
Typd 数据……
🧠 微调后的 Qwen3-ASR 1.7B
💾 2.2GB Q8 模型
🟢 约 2.5GB 显存
⚡ 短听写约 0.5 秒
⚡ 长听写约 1 秒
⚙️ llama.cpp
💻 Windows + Apple Silicon Mac
🔓 开源应用
它能去除填充词,处理口误,并直接根据音频格式化文本。无需第二个 LLM 重写转录文本。只用一个小型本地模型完成两个模型的工作。
这就是 Localmaxxers 用普通硬件就能构建的东西。
这是 Reddit 帖子的链接
这是 GitHub 应用的链接。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖