该事件此前在社交平台引发讨论，有用户发现，无论用何种方式引导，MiniMax大模型都无法正常输出这三个字，要么答非所问，要么胡言乱语。
根据界面快讯报道，MiniMax排查后确认，问题根源并非所谓“禁忌词汇”，而是token机制。
“嘉祺”二字被分词器合并为独立token，但该token在后训练数据中出现频次极低，导致模型遗忘其生成能力。
Token是什么？简单粗暴点说，1个Token大约等于1.5个汉字，你让AI给你出东西，背后消耗的就是Token。
很多人误以为字数越少，AI消耗的算力就越少，却忽略了模型的底层逻辑。
这个翻译过程，就是通过分词器将内容切成碎片，这些碎片就是token，再映射成数字ID供模型处理。
分词器的核心是词表，收录着模型认识的所有token，由算法从海量语料中训练生成，和人类的分词逻辑完全不同。
一个token可能是一个汉字，也可能是多个常用汉字的组合，高频组合会被整体收录，低频组合则会被拆分。
近期百度发布的Token Factory，从侧面印证了token与成本的深度关联。该技术可减少23%的token消耗。
这背后，是AI行业从“拼参数”向“拼成本”的转型。
对企业而言，token就是AI世界的“硬通货”，每一枚token的消耗，都对应着GPU计算、显存占用和电费开支。
这种成本压力，不仅困扰着国内企业，也影响着全球AI监管走向。
5月5日，美国商务部下属NIST与Google DeepMind、Microsoft、xAI签署协议，对前沿AI模型开展部署前评估，重点关注国家安全相关风险。
4月7日Anthropic发布的Mythos模型，该模型具备自主网络攻击能力，证明前沿AI已能威胁关键基础设施。
美国的收紧，本质是担心高算力、高token消耗的前沿模型，带来不可控的安全风险。
与美国相反，欧盟在5月7日宣布简化AI规则，明确高风险AI系统实施时序，降低企业合规成本。
此前欧盟严格的监管的抬升了企业成本，使其在AI竞争中落后于中美，此次简化是在守住底线的前提下，为创新松绑。
中美欧的监管差异，背后是不同的竞争诉求，美国要守住前沿技术优势，欧盟要平衡合规与创新，中国则在推进商业化的同时，优化技术降低成本。而这一切，都绕不开token这个核心环节。
这种差距曾是国产AI的短板，但如今已逐步缩小。
GPT早年就有一个知名故障token“solid gold Maggie cup”，因训练语料中出现频次极低，模型无法解释其含义，轻则答非所问，重则逻辑混乱。
MiniMax和GPT的翻车案例，都指向同一个问题，token的质量比数量更重要。
哪怕一个token被收录进词表，若训练不充分，也会导致模型“犯蠢”，这背后是分词器算法和训练数据的双重考验。
当前主流的分词方法有三种，BPE、WordPiece与Unigram。BPE反复合并高频相邻片段，GPT系列采用这种方法；WordPiece合并标准更严格，偏向专业术语组合；Unigram则通过淘汰制精简词表，适配多语言场景。
不同方法的选择，决定了token的切分效率，也影响着企业的成本控制。
百度Token Factory之所以能降本，核心就是优化了分词逻辑和缓存机制，减少了不必要的token消耗。
很多人追捧的“省token技巧”，大多忽略了模型的底层逻辑。
AI行业的竞争，早已不只是模型参数的比拼。
当中国AI周调用量突破4.69万亿token，token成本成为企业竞争力的关键。谁能在保证性能的同时，降低token消耗，谁就能在商业化竞争中占据主动。
美国的监管收紧、欧盟的规则简化、中国企业的技术优化，本质上都是围绕AI的安全与成本展开。
token看似是一个微小的技术细节，却串联起AI技术、商业竞争和全球监管的方方面面。
字少未必省token，就像看似简单的技术细节，往往藏着最核心的竞争逻辑。
热门跟贴