Hugging Face开源DNA大模型Carbon-X：14.8B参数，DNA与英文首次同流

开源社区迎来一项里程碑式发布：Hugging Face正式推出Carbon-X，一款参数量达14.8B的开放权重复用DNA语言模型。它由Hugging Face Bio团队联合中关村学院（Zhongguancun Academy）以及意大利TIGEM与那不勒斯费德里克二世大学共同打造。与以往需要独立DNA编码器的研究路线不同，Carbon-X让原始DNA序列与自然语言在同一个对话窗口、同一条token流、同一个解码器中交汇——用户可以直接粘贴DNA序列并用英文提问，模型用英文回答突变是良性还是致病、标注调控区域、分类物种来源或预测下一个碱基。

统一词表：DNA与英文共享一条token流

Carbon-X从Qwen3-14B出发构建，其关键架构创新是一个混合分词器（hybrid tokenizer）。它完整保留Qwen3原有的BPE文本词表，同时新增5,515个DNA专属token：包括4,096个非重叠6-mer（六碱基组合）、1,364个尾部token以及3个标记符（、、）。每个DNA token对应6个碱基对，长度达到6个以上的连续A/C/G/T碱基串会被自动打上标签。这意味着模型不需要单独的DNA编码器，与BioReason等早期工作形成鲜明对比。

主干网络沿用标准Qwen3结构：40层、隐藏维度5120、采用GQA注意力机制并配置8个KV头。上下文长度为40,960个token。模型为稠密架构（dense），未使用MoE。得益于开放权重与Apache 2.0许可，实验室可以在自己的GPU上本地部署，敏感序列数据无需离开机构。运行门槛相当友好：一张80GB显存的GPU即可在bfloat16精度下通过vLLM或Transformers推理；官方GGUF量化版本中，Q8_0仅15.8GB，Q4_K_M更是低至9.6GB。

四阶段训练：从嵌入预热到强化学习

根据模型卡，训练分为四个阶段。第一阶段为嵌入预热：约10B token的训练中Transformer主体全部冻结，只让新增的DNA token嵌入层学习，避免破坏原有语言能力。第二阶段是中期训练：302B token，序列长度8,192，学习率按余弦调度从5e-5衰减至5e-6，数据配比为55%原始DNA、20%英文、15%生物文本和10%指令数据。

第三阶段是监督微调（SFT）：对20个数据集子集训练3个epoch，其中变异效应推理约占三成，所有回答均由与领域专家共同构建的确定性验证器把关。第四阶段是强化学习：采用异步GRPO算法，配合可验证的代码化奖励，共进行2轮，每轮每个prompt采样16次。发布博客指出，学习率是最难调的旋钮——过高时模型学会了DNA却遗忘英文，最终靠更低的学习率、14B的模型规模和长周期训练化解了这一权衡。另一个反直觉发现是：直接对Qwen3-14B做RL，在FrontierVEP基准上从未超过50%的概率基线。

基准表现：平均66.7%，仅距GPT-6.1 Sol 0.8分

Hugging Face自报的测试中，Carbon-X关闭思考模式运行，而竞争对手均以各自最佳推理强度参评。在五项DNA基准上，Carbon-X平均得分66.7%，是所有受测开源模型中最高，比基座Qwen3-14B高出27分，仅落后GPT-6.1 Sol 0.8分。单项来看，BioReason Coding（编码区变异效应，1,018个变异）上Carbon-X以74.9%领先包括闭源模型在内的全部对手；NextBase下一碱基预测（600条序列）上以39.4%居首。GPT-6.1 Sol平均67.5%居首，Opus 5.5平均60.9%，Kimi K3为50.4%。

Carbon-X trails GPT-6.1 Sol by 0.8 points and sits 27 points above Qwen3-14B——它在编码区变异效应与下一碱基预测上领先，但在复杂变异和单碱基变异上，前沿模型仍然占优。

评测也揭示了拒答行为对排名的扭曲：在NextBase上，Opus 5.5的得分从低推理强度的17.7%骤降至最大强度的1.1%，原因是拒答率飙升；Gemini 4 Argon在FrontierVEP上则随推理强度提升从58%跌至38%。Carbon-X并非只擅长DNA——在通用指令遵循基准IFEval上，它保持79.3%的prompt级严格准确率，说明双语混合训练并未牺牲英语能力。

成本优势：每道题约1/1800的开销

发布信息以H200每小时5美元的租用价格测算吞吐成本：用Carbon-X对240万个ClinVar意义未明（VUS）变异打分，成本近乎可忽略；同样的任务交给Hugging Face评测过的前沿模型，预估花费在3.2万至400万美元之间。按模型卡数据，Carbon-X相对GPT-6.1 Sol的单题推理成本约为其1/1800。一个有趣的协作实验还显示：让Kimi K3把Carbon-X当作子代理调用，其在FrontierVEP上的成绩从49.4%升至60.5%。

当然，模型卡同样坦陈局限：GenomeQA中的剪接位点任务仅29.8%，组蛋白标记任务也只有34.6%；在长序列的精确操作上可能数错碱基或混淆坐标，官方建议用代码完成计数与编辑；缺乏上下文时可能凭空虚构序列的身份，使用时应提供基因、正负链及注释信息；长DNA序列生成质量会下降，模型卡明确表示它并非为设计新序列而训练。最重要的一条警示是：该模型尚未经过临床验证。

展望：生物序列进入开源大模型时代

Carbon-X的意义远超一次模型发布。它证明了在单一解码器中统一DNA与自然语言是可行的，且不必以牺牲语言能力为代价；同时，其Apache 2.0许可与可在单卡80GB GPU上运行、9.6GB量化文件即可部署的工程特性，让世界各地的中小实验室第一次能以近乎零成本大规模筛查变异。随着2.4M个ClinVar意义未明变异等待解读，开源DNA大模型或许正是临床基因组学最需要的加速器。