随手先关注,不错过每日AI热讯速递
①
把一段原始 DNA 丢进对话框,模型用英文回答这段序列的突变是良性还是致病——这是 Hugging Face 生物团队 10 月 25 日开源的 Carbon-X 给出的用法[1][2]。
模型14.8B参数,解码器(只沿一个方向逐字预测的模型结构,每次根据前文猜下一个 token)架构,Apache 2.0 许可,上下文40,960 token[1]。
权重能塞进单张80GB显卡,实验室可以把未公开的序列留在自己机器上[1]。
底座是 Qwen3-14B,真正的改动在词表:文本沿用原有的 BPE,DNA 另外加了5,515个 token——4,096个互不重叠的 6-mer、1,364个尾部 token、3个标记[2]。
一个 DNA token 覆盖6 个碱基对,DNA 与自然语言因此共用同一条 token 流、同一个解码器,没有独立的 DNA 编码器[1][2]。
合作方是中关村学院与 TIGEM/那不勒斯费德里科二世大学[2]。
图来源:Hugging Face 模型页[1]
②
训练分四段。先冻结主干、只让新增的 DNA 嵌入学约10B token;再用302B token做中期训练,序列长8,192、全局批512、共72,000 步[1]。
五项 DNA 基准平均66.7 分,比底座 Qwen3-14B 高27 分[1]。分项为 BioReason Coding74.9、NextBase39.4、GenomeQA63.6、FrontierVEP70.4
结构上它没另起炉灶:40 层、隐藏维度5,120、FFN 中间维度17,408、40 个查询头配 8 个 KV 头,沿用的是 Qwen3 的标准栈[1]。
中期训练的数据里原始 DNA 占大头,英文、生物文本与指令数据各占一部分,比例在模型卡里写得很细[1]。
同表对比:GPT-6.1 Sol 平均67.5,Claude Opus 5.5 是60.9,Kimi K3 是50.4[1]。Carbon-X 落后 GPT-6.1 Sol0.8 分
弱点也很明确,剪接位点(基因转录时被切掉的内含子边界,判错会直接影响蛋白质产物)准确率只有29.8%[2]。
图:Hugging Face · Open weights(开放权重),主标题为 Carbon-X reads DNA(Carbon-X 读取 DNA),下方说明它是能在对话里直接吃原始 DNA 的 14.8B 开放模型(来源:MarkTechPost[2])
③
成本是这套方案最硬的差异。按 H200 实测吞吐折算,Carbon-X 每题推理成本约为 GPT-6.1 Sol 的1/1800[1]。
放到具体任务上:给240 万个ClinVar 意义未明突变(已知与疾病相关、但现有证据还判不出致病与否的基因变异)打分,Carbon-X 约300 美元,前沿模型要32,000400 万美元[2]。
它还能当工具被调用。Kimi K3 在 DNA 相关指标上的分数从49.4%升到60.5%,用的就是把 Carbon-X 挂成子智能体[2]。
通用能力没有全丢,IFEval 提示级严格准确率79.3%[1]。
官方还放出了 GGUF 量化权重,能在消费级工具链里跑起来,不必占用整张 80GB 卡[1]。
分数怎么读也有讲究。同一个 NextBase 基准上,推理强度拉得越高,拒答就越多,分数反而往下掉,这套对比的排名因此不完全可比[1]。
④
所有成绩由 Hugging Face 自报。Carbon-X 在关闭思考的模式下评测,对手按各自最高推理强度跑,这个不对称要自己掂量[2]。
能力边界写得直白:模型卡确认未过临床验证,不得用于医疗决策[1]。
它是用来读序列的,不是用来写序列的。生成长 DNA 时质量会退化,官方写明它没有为设计新序列而训练[1]。
40,960是标称上下文:训练只用8,192的长度(约 49 kbp),后训练样本短于 16k,超长输入没有评估过。
值得记下的是成本数字的变化幅度——给几百万条序列打分从32,000400 万美元压到约300 美元,这是模型卡与报道共同给出的对比[1][2]。
参考来源:
[1] HuggingFaceBio/Carbon-X · Model cardhttps://huggingface.co/HuggingFaceBio/Carbon-X
[2] Hugging Face Releases Carbon-X, a 14B Open DNA Language Model that Brings DNA and Natural Language Together for the First Timehttps://www.marktechpost.com/2026/10/25/hugging-face-carbon-x-14b-dna-language-model/
欢迎点赞、分享、推荐
一起拥抱AI
热门跟贴