HuggingFace 发布教大模型懂 DNA 的最大数据集
HuggingFace 发布了 FineDNA 数据集。按它自己的说法,这是教任何大模型懂 DNA 的最大数据集。把 Qwen3-14B 训练成 Carbon-X 用的全部数据,都在这份数据集里。
三个部分
FineDNA 按训练阶段切成三块。中训练数据 3000 亿以上 token,内容是基因组和富含 DNA 的文本。SFT 数据约 20 万条对话。RL 数据约 9.8 万条可验证提示。
顺序也清楚:先让模型读 DNA,再让它按指令回答,最后按奖励信号调优。三块拼成一条完整路径。
3000 亿 token 这个量级,和“最大”这个说法是对得上的,尽管官方没说明“最大”是按什么口径比的。
训练出来的模型
用这套数据训出来的是 Carbon-X,底座 Qwen3-14B。HuggingFace 说它是当前 DNA 任务上最强的开源语言模型。
数据集在 HuggingFace 的 HuggingFaceBio/FineDNA 页面,代码在 GitHub 的 huggingface/carbon 仓库。链接都给了,可以直接下载。
代码和配方同样公开,也可以套到别的底座上,不必绑死 Qwen3-14B。
没有说明的部分
数据集里是哪几个物种的基因组,没写。Carbon-X 具体在哪些任务上最强,没列。拿 FineDNA 去训别的模型能不能拿到接近的效果,也没有数据。
许可协议是更大的空白。能不能商用,目前不清楚。对打算把 DNA 模型做成产品的团队来说,这一条比数据集有多大更要紧。
帖子底下只有 5 条讨论。一条在道谢,一条在确认这份数据是否与生物学和特定 DNA 基因组相关。
FineDNA 把进门的第一步变成了下载和微调。数据这一关,HuggingFace 替后来的人做完了。
关键事实
- HuggingFace发布了FineDNA数据集,包含用于训练DNA语言模型的所有数据。
- FineDNA是最大的DNA数据集。
- 中训练数据包含3000亿以上的基因组和富含DNA的文本token。
- 使用FineDNA训练出的模型是Carbon-X,基于Qwen3-14B。
- Carbon-X是当前最强的开源DNA语言模型。
- FineDNA的代码和配方也是开放的,可以应用于其他LLM。
- 数据集托管在HuggingFace上,链接为https://huggingface.co/datasets/HuggingFaceBio/FineDNA。
- 代码托管在GitHub上,链接为https://github.com/huggingface/carbon。