最近 AMD 收购加拿大 AI 芯片创业公司 TALOS 的消息，在科技圈引发热议。这家公司的 AI 推理芯片彻底打破了行业固有认知，被不少人称为 “AI 芯片界的清流”。
TALOS 的创始人是硅谷资深芯片设计师，曾担任 AMD 集成电路架构总监、英伟达高级架构师。早在 2016 年，他就创办了 AI 芯片公司 TensorRT，当时的产品思路和如今的 TPU、IPU 等推理芯片一脉相承，都搭载标量、向量、张量计算核心，搭配 SRAM 和 DRAM 存储数据。
ChatGPT 引爆 AI 浪潮后，他的思路彻底转变。2023 年他将 TensorRT 交给合伙人，全新创办 TALOS，推出了完全不同于传统推理芯片的产品。
这款芯片最颠覆的设计，直接将大模型权重烧录进芯片本体。它采用古老的 mask ROM 技术，在晶圆厂生产阶段，就通过金属通孔的有无将权重数据以硬件电路形式固定下来，相当于把大模型 “焊” 在了芯片上。
这意味着它完全不需要 DRAM 或 HBM 这类高速内存，彻底摆脱了传统芯片的存储瓶颈。彻底消除冯・诺依曼瓶颈，无需在存储和计算之间搬运数据，算力释放直接拉满。
测试数据显示，这款芯片在烧录 80 亿参数的 LLaMA 3.1 模型时，17000TOPS 每秒的生成速度遥遥领先传统 GPU。对比行业同类产品，它的构建成本仅为 Cerebras 的 1/20，功耗仅为其 1/10，堪称降维打击。模拟测试中，30 颗 HCE 芯片就能实现 Deepseek 21 670 亿参数模型每秒 12000Tokens 的处理速度，表现极其亮眼。
这款芯片也存在明显短板。受技术原理限制，它的量化精度非常激进，基础版本仅为 3 比特，平均约 4 比特，大模型权重只能在 16 个离散值中选择，复杂推理、数学计算、代码生成任务的准确率饱受诟病。
最受争议的是它的 “耗材” 属性：一旦大模型更新迭代，就需要重新生产芯片，旧芯片基本失去利用价值。不过官方也给出了优化空间：HC2 版本将把参数量从 80 亿提升至 200 亿，数据精度升级为 FP4 或 MXF4，大幅提升数值动态范围，接近 FP8 水准，准确率有望大幅改善。
从实际价值来看，TALOS 芯片更适合流量巨大、模型相对固化的利基市场，比如 8B 到 70B 级别的成熟商用模型，对延迟和成本极度敏感的场景。它可以作为传统 GPU 的有力补充，填补特定赛道的需求空白。
热门跟贴