谷歌今天发布了时间序列基础模型系列的第三代产品TimesFM-3。这个只有3.3亿参数的模型,在包含超1万亿个时间点的真实世界和合成时间序列语料库上完成了预训练。参数规模不大,但它的核心卖点很直接:零样本多变量时间序列预测。
所谓零样本,就是模型不需要针对特定任务做微调,直接拿来就能用。TimesFM-3继承了前代的高效性和零样本泛化能力,同时把重点放在了复杂多元场景的支持上。它能够联合预测多个共同演化的时间序列,捕捉其中的依赖关系,从而提升整体准确率。
打开网易新闻 查看精彩图片
双注意力机制与连续补丁掩码
这次升级的关键技术点有两个:双注意力机制和连续补丁掩码。前者让模型在处理多个时间序列时能更有效地捕捉相互之间的关联,后者则帮助模型在训练时更好地理解时间序列中的连续模式。这两个特性共同支撑起了原生多变量预测的能力。
谷歌官方列出了该模型原生支持的三个核心特性:
- 多目标预测:同时预测多个相关时间序列,比如联合预测不同品牌的冰淇淋销量,支持所有目标的点预测和分位数预测。
- 过去协变量:纳入仅从历史角度已知的特征,例如过去的人流量数据。
- 过去-未来(动态)协变量:利用已知的未来事件来指导预测,比如计划中的促销活动或天气预报。
这三个特性覆盖了实际业务中常见的预测场景。以零售为例,联合预测多个SKU的销量、结合历史客流和未来促销计划,这些需求在TimesFM-3里被整合成了原生能力,不需要额外搭建复杂的特征工程管线。
对于时间序列预测这个领域来说,3.3亿参数确实不算大。但谷歌的思路很明确:用高效的结构和高质量的训练数据,换取零样本场景下的泛化能力。这也意味着,中小团队或许不需要庞大的算力资源,就能在自有数据上尝试这类基础模型。
热门跟贴