随手先关注,不错过每日AI热讯速递

10 月 3 日,德国 AI 公司Aleph Alpha正式开源大模型Kolibri(德语意为「蜂鸟」):总参数78B、每 token 只激活3.46B的混合专家架构[1][2]。

权重以 Apache 2.0 许可全量上架 Hugging Face,可商用、可本地部署,FP8 精度为主版本[1][2]。

这家海德堡公司给自己的定位是欧洲「主权 AI」——这次开源,是它对「欧盟严监管抑制创新」论调的一次正面回击。

①

先看硬指标。Kolibri 是德英双语混合专家模型(Mixture-of-Experts,MoE:把大参数量拆成多个「专家」网络,每次推理只唤醒一小部分,用小模型的成本换大模型的容量)[1]。

模型卡的精确数字是:总参数78,103,074,560,每 token 激活3,457,573,120[2]。

上下文是最大卖点:原生支持262,144 token,实测最长到 1,048,576 token(即 1M),官方建议实际服务控制在 262,144 token 以内以保证效率[2][3]。

打开网易新闻 查看精彩图片

图来源:Aleph Alpha 官方博客页[1]

②

训练规模也全部公开:768 张 B200 GPU分三阶段完成——20T token 预训练(21 天)、3.44T token 中期训练、200B token 长上下文适配,合计近24T token[1]。

数据配方颇有欧洲特色:德语有机语料占预训练 token 的21.3%,翻译语料只占6%——官方强调这是「为双语而设计」的原生模型,不是「读过些德语的英语模型」[1]。

主权叙事落在基础设施上:模型在德国建造,训练算力位于德国与芬兰,「受欧洲与德国法律管辖,无外国控制」,从数据策展到训练评估的端到端管线全部自有[1]。

技术路径上,它是前代Kolibri Origin(30B 总参、3B 激活、65k 上下文)的全面放大版——后者从未公开发布,专门用来验证这条训练管线[1]。

打开网易新闻 查看精彩图片

图来源:Hugging Face 官方模型卡[2]

③

发布当天的行业反响值得玩味。Cohere 官方账号当天转发并评价:

「New Apache 2.0 model from @Aleph__Alpha. It's really good. If you like that, you're going to love what we build together.」

——Cohere 评价称,来自 Aleph Alpha 的新 Apache 2.0 模型确实出色,如果你喜欢它,你会更期待两家一起构建的东西[4]。

这句「一起构建」意味深长:Aleph Alpha 与 Cohere 此前已围绕主权 AI 达成深度合作——加拿大公司+德国工程队的组合,把 Kolibri 的开源变成了这套合作的延续。

性能数字则需要冷静看待:官方称 Kolibri 在长上下文任务上能匹配「激活参数四倍于己」的模型(如Nemotron 3 Super)——但所有基准均为厂商自报,对手由厂商挑选,尚无独立第三方复现[1]。

推理架构的选择同样值得注意:78B 总参只激活 3.46B,意味着以更小的激活规模控制推理成本——官方把这一权衡称为「质量-服务成本」的帕累托前沿[1]。

模型卡讨论区当天已热闹起来:transformers 适配讨论、Apple Silicon 量化版本请求接连出现,社区热情是真的,等待验证也是真的。

④

把 Kolibri 放回大盘里看,它的意义不在「把谁比下去」,而在示范了一条差异化路线:用区域语言数据+合规叙事+开源权重,在巨头专注英语与通用市场的另一侧,走区域差异化的路线。

对受监管行业(公共管理、工业、航天)而言,「合规即继承属性」的卖点足够具体;对欧洲政策制定者而言,这是一个「监管不必然扼杀创新」的活样本。

对中国从业者的参照在于:当英语数据红利见顶,非英语母语市场的数据工程正成为差异化竞争的要素之一——21.3% 的德语占比背后,是一整套有机语料的建设方法。

至于 1M token 上下文的现实意义:整本技术手册、整个代码仓库可以一次塞进对话窗口,这让「主权模型」在政务与工业文档场景里有了实际的生产力想象空间[2]。

78B 开源、3.46B 激活、1M 上下文——欧洲的「主权模型」答卷已交,你觉得这条路线走得通吗?评论区聊聊。

参考来源:

[1] Kolibri Has Landed: A Sovereign Open-Weight Modelhttps://aleph-alpha.com/en/blog/kolibri-has-landed-a-sovereign-open-weight-model/

[2] Aleph-Alpha/Kolibri-1https://huggingface.co/Aleph-Alpha/Kolibri-1

[3] Small bird, fast wings, Kolibri is here. 78B parameters. 3.46B active. Up to 1M tokens of context. Built in Europe.https://x.com/Aleph__Alpha/status/2106306840657297814

[4] New Apache 2.0 model from @Aleph__Alpha. It's really good.https://x.com/cohere/status/2106454131023995094

欢迎点赞、分享、推荐

一起拥抱AI