AI模型越来越大,生成一个回答却要等更久。这个问题正催生一批新玩家。
英国AI推理芯片初创公司Fractile Ltd.今天宣布完成2.2亿美元B轮融资。这家公司2022年由牛津大学芯片工程师Walter Goodwin创立,他亲自设计了Fractile的专用推理芯片,瞄准训练后AI模型的实际运行负载。
打开网易新闻 查看精彩图片
Goodwin认为,当前最先进AI模型的核心瓶颈在于"推理延迟"——即收到提示后生成输出的时间。模型规模膨胀、能力增强的同时,解决复杂问题往往需要数千万个token。这些token在处理器和内存之间频繁搬运数据,拖慢了响应速度。
Fractile的解法是一款全新架构的逻辑芯片,将内存集成进标准服务器机架。公司称这种设计能在不牺牲速度的前提下降低延迟、最大化带宽。技术细节尚未公开,但Goodwin向《华尔街日报》透露,该芯片既不使用传统高带宽内存,也不依赖片上静态随机存取存储器(SRAM),暗示这是一种全新架构。
Goodwin在融资公告的博客中写道:"把一个月的工作压缩成一天,把实验室一个周末的计算压缩成咖啡休息时间,不仅能让现有工作大幅提速,还能让更激进的AI应用场景具备经济可行性。"他预测,21世纪的标志性工作将由推理引擎驱动,在药物发现、软件工程、材料探索等领域展开大规模知识探索。
这些承诺有待验证。Fractile需要在专用推理芯片的激烈竞争中证明自己。近年涌现的推理芯片厂商都在试图从市场领导者英伟达手中抢夺份额,包括Cerebras Systems及其餐盘大小的WSE-3芯片——后者同样面向AI生产负载,定于明天通过IPO上市。
热门跟贴