来源:市场资讯

(来源:MathInvestment)

引言

在商品期货研究中,关于风险溢价(risk premium)的来源长期存在多种相互竞争的理论解释。凯恩斯(Keynes, 1930)提出的正常贴水理论认为,期货合约的多头方因为给生产商提供价格保险而获得风险补偿;而以 Kaldor、Working、Brennan 为代表的存储理论则强调库存动态、便利收益(convenience yield)与未来价格波动率之间的联系;近年的研究又凸显了流动性需求与流动性供给(Kang et al., 2020)的重要性。

问题在于,过往实证研究往往只检验单一理论,使用各自专属的数据集和方法论。这导致一个尴尬的局面:每种理论似乎都有支持证据,但它们之间从未在同一标准下被公平比较,研究者也难以判断到底哪种解释更接近商品期货市场的"真实数据生成过程"。

本文要介绍的这项研究试图终结这种各说各话的局面:它构建了一个统一的、基于收益可预测性的实证框架,将多个理论翻译为同一套预测检验,并最终构建出一个能整合所有信号的因子——"动物园管理员"(zookeeper)。下面我们逐步拆解这套方法论的设计思路、实证结果以及它对量化研究者的启示。

一、三大经典理论的实证锚点

要构建一个统一框架,第一步是将不同理论"翻译"为可观测的预测变量。

1.1 正常贴水理论

该理论的核心观点是:商品生产商(套保者)希望规避价格风险,因此愿意为价格保险支付溢价;投机者承接这部分不平衡的对冲需求,作为补偿获取风险溢价。

在实证上,这一理论的对应变量主要包括:

  • 套保压力(hedging pressure, HP):商业账户的净空头头寸占总持仓比

  • 投机压力(speculative pressure, SP):投机者的净多头头寸占比

  • 持仓量变化(dOI, dmaOI):反映套保者活动的代理变量

  • 偏度(skew)和峰度(kurt):通过选择性套保假说(selective hedging)将其纳入这一理论范畴

1.2 存储理论

该理论建立在物理库存与便利收益之上:当库存极低时,持有现货可以避免供应中断造成的损失,便利收益升高,期货曲线呈现贴水(backwardation)结构,未来的价格波动率与风险溢价也随之上升。

对应的预测变量包括:

  • 基差(basis, basis12):近月与次近月合约价格比,是库存状态的良好代理

  • 相对基差(rbasis):近-次合约基差与次-远合约基差之比,刻画期限结构曲率

  • 动量(mom1, mom12)

  • 季节性(seasonality)

1.3 流动性需求与供给

这一相对较新的视角强调:投机者本身也有交易需求,他们在某些时点愿意付出溢价以满足自身的头寸需求;同时,流动性供给方在市场深度恶化时要求更高补偿。

对应变量包括:

  • 基差动量(bmom, bmom12):捕捉期限结构变动中的持续性

  • Amivest 非流动性指标(iliq)

  • 异常成交量(atv)

  • 各类波动率指标(var, ivolaBGR, vov)

  • 流动性需求(hp112):短期套保压力变化

1.4 其他变量

包括汇率敞口(b_fx36, b_fx60)、通胀敞口(b_inf36, b_inf60)和不同期限的价值因子(val, val36, val60)。

打开网易新闻 查看精彩图片

图:相关性热力图,展示 81 个预测变量之间的两两相关性,绝大部分预测变量之间的相关性接近零,说明变量集合具有较好的信息多样性,这对于后续的高维收益预测和 SHAP 归因分析是关键前提。

二、数据与预测变量的高维构造

2.1 商品期货样本

研究覆盖 25 个主要商品期货合约,跨越软商品、谷物、油籽、畜产、贵金属、工业原料和能源七大板块。日收益率定义为:

其中 是近月合约在第 天的结算价。月度收益率由日度数据聚合而来。同时还采集了次近月与第三近月合约的数据,用于构造期限结构相关变量(如 carry、basis-momentum、relative basis 等)。

2.2 三大变量组

整套预测变量被组织成三组:

组别

变量数

内容

Group C

37

商品特有特征(基差、动量、套保压力、波动率、流动性等)

Group M

40

宏观经济指标(利率、商业周期、增长、通胀、不确定性等)

Group S

4

投资者情绪指标(Baker-Wurgler 情绪、FinBERT 文本情绪)

合计 81 个预测变量,是商品期货文献中迄今最大规模的预测变量集合。

值得一提的是情绪变量的构造:研究使用 FinBERT(Huang et al., 2023)这一金融领域的预训练大语言模型,对 1984—2022 年《华尔街日报》共 822,595 篇经济新闻进行情绪分类,输出每篇文章为正面、负面、中性的概率,再按月聚合得到月度情绪序列。

三、统一的预测模型框架

3.1 基本模型设定

研究采用如下计量模型:

其中 、、 分别表示商品特有、宏观和情绪类变量。函数 是一个灵活的映射,其形式固定,但每次都在滚动窗口内重新估计参数。

研究在两个维度上分别检验可预测性:

  • 时间序列(TS)维度:将 替换为等权商品组合收益 , 取为各品种 C 类变量的横截面均值

  • 横截面(CS)维度:直接预测单个品种的下月收益。由于 M 和 S 类变量本身无横截面变化,研究通过 60 个月滚动 OLS 估计 对 和 的载荷(loading)来生成品种层面的 和

3.2 线性模型族

包含 6 类:

  • OLS(基准)

  • 逐步回归(Stepwise)

  • 偏最小二乘(PLS)

  • 岭回归(Ridge)

  • LASSO

  • 弹性网(Elastic Net)

以弹性网为例,其优化目标为:

当 退化为岭回归, 退化为 LASSO。 和 均通过 10 折交叉验证确定。

3.3 非线性模型族

包含 4 类:

  • 随机森林(Random Forest)

  • 梯度提升回归树(GBRT)

  • 极端梯度提升(XGBoost)

  • 多层感知机(MLP)

XGBoost 的损失函数形式为:

其中 为所有 CART 树预测值之和, 为正则化项。

MLP 采用单隐层 64 神经元结构,ReLU 激活,权重衰减(L2)作为唯一调参变量,使用 Adam 优化器训练。

3.4 集成方法

研究构造了两个集成模型:

  • L-En:线性集成,等权平均 Stepwise、PLS、Ridge、LASSO、Elastic Net 的预测

  • N-En:非线性集成,等权平均 Random Forest、GBRT、XGBoost、MLP 的预测

预测组合(forecast combination)则进一步对 C、M、S 三组预测的平均,借此分散单组信息的噪声。

3.5 训练-测试切分

样本切分为:

  • 训练样本:2005 年之前的 201 个月用于超参数调优(10 折交叉验证)

  • 测试样本:2005 年 1 月至 2022 年 1 月的 205 个月用于样本外评估

  • 滚动估计:每月使用最近 120 个月数据重估系数,但超参数固定

样本外评估采用 Welch and Goyal (2008) 与 Campbell and Thompson (2008) 提出的 :

其中 为基准(滚动历史均值)预测。正值意味着模型预测优于历史均值。

3.6 变量重要性归因:SHAP

研究使用 Shapley Additive exPlanations(Lundberg and Lee, 2017)量化每个变量对最终预测的贡献。SHAP 值的核心思想来自合作博弈论的 Shapley 值,定义为:

直观地,每个变量的 SHAP 值是它在所有可能的"变量子集组合"下边际贡献的加权平均。最终预测可分解为:

为了得到相对百分比贡献,研究将每月 SHAP 值标准化为:

然后跨月度平均得到变量级和组别级的重要性度量。

四、实证结果一:收益的可预测性

4.1 时间序列预测

在等权商品组合(AVG)上的样本外预测结果显示:

  • OLS 几乎全面崩塌(C 组 达到 -102%),这与 OLS 在高维设定下的过拟合一致

  • Ridge 和 Elastic Net 表现稳定,C 组和 M 组的 都在正区间

  • 非线性模型整体表现并未显著优于线性模型

  • 线性集成(L-En)配合预测组合获得最高 ,达到约 3.55%

值得注意的是,宏观经济变量(Group M)的预测能力与商品特有变量相当,这说明商品的总体回报与宏观状态高度相关,而非仅由商品自身的微观结构决定。这与 Bodie and Rosansky (1980) 关于商品作为通胀对冲的经典发现一脉相承。

4.2 横截面预测

在 25 个品种的横截面上,预测能力虽然数值上低于时间序列( 在 0.11% 至 0.83% 之间),但显著为正的模型数量更多,且预测组合稳定优于单一变量组。Group C 的预测能力总体上优于 Group M,符合横截面定价更依赖品种特征的直觉。

4.3 一个反常识的发现:非线性并非更优

这项研究的一个重要结论是:在商品期货数据中,非线性模型并未显著优于线性模型。这与股票市场(Gu, Kelly, Xiu, 2020)的发现形成鲜明对比。研究给出三方面解释:

第一,偏差-方差权衡。非线性模型以扩大方差为代价换取偏差降低,而商品市场的数据生成过程在偏差降低上空间有限。

第二,数据生成过程接近线性。研究通过绘制 MLP 预测值对单个输入变量的边际响应曲线发现,几乎所有曲线都呈近似线性形态——也就是说,神经网络在学到一个"几乎是线性"的关系。

第三,样本规模约束。商品期货品种数量比股票少两个数量级,复杂模型在小样本中更容易过拟合。在低信噪比环境下,简洁的模型反而更稳健。

这一发现挑战了近年文献中流行的"复杂性美德"(virtue of complexity, Kelly et al., 2024)观点,与 Cartea et al. (2025)、Buncic (2025) 等"简洁主义"研究形成呼应。

五、实证结果二:经济通道的相对重要性

5.1 SHAP 归因结果

打开网易新闻 查看精彩图片

图:商品特有变量的 SHAP 重要性排序图,按存储理论、正常贴水理论、流动性需求与供给、其他四类展开。可以看到每一类下都有若干变量贡献占比达到 7%-10%,说明预测力是分散的而非集中在少数明星变量上。

将单变量 SHAP 值按理论类别聚合,结果令人意外:

理论

时间序列重要性

横截面重要性

正常贴水理论

32%

29%

流动性需求与供给

31%

24%

存储理论

18%

25%

其他

18%

21%

打开网易新闻 查看精彩图片

图:商品定价理论的相对重要性饼图,对比时间序列与横截面两种维度。三大理论的贡献度相近,没有任何一个理论占据主导地位。

5.2 时变性

打开网易新闻 查看精彩图片

图:四类理论重要性的时变图(12 个月滑动平均的 SHAP 占比)。可以观察到流动性变量在金融危机期间(2008-2010)尤为重要;而正常贴水理论在 2010 年代后期贡献增强。

这意味着:试图用单一理论来描述商品风险溢价的研究范式本身是不充分的。三大经济通道在不同时间段交替主导,多通道融合才能更完整地刻画风险溢价的动态。

六、经济意义:择时与多空策略

6.1 时序择时策略

借鉴 Campbell and Thompson (2008) 的均值-方差投资者框架,最优配置为:

其中 是模型预测的下月收益, 由 24 个月滚动实际波动率代理。结果显示,基于 L-En + Group C 的择时策略年化收益 5.7%,夏普 0.49,Sortino 0.80;而买入持有 AVG 的对照组年化仅 2.3%,夏普 0.22。

6.2 横截面多空策略

每月将所有商品按预测收益排序为四分位,做多最高分位、做空最低分位。L-En + Group C 的多空策略表现最佳:年化 5.8%,夏普 0.64,t 统计量 3.2,最大回撤仅 -10.6%。

这一组合策略的表现优于:

  • 90% 的单变量构造的多空策略(详见 Internet Appendix H)

  • 多数文献提出的核心因子(carry、momentum、basis-momentum 等的平均夏普约 0.31)

七、"动物园管理员"因子

7.1 因子构建

定义:基于 L-En 线性集成模型,使用 37 个商品特有变量(Group C)生成的下月预测,对所有品种排序得到四分位多空组合。这就是 zookeeper 因子。

它的命名来源于商品市场上层出不穷的因子("因子动物园")——动量、基差、套保压力、偏度、基差动量、相对基差……zookeeper 试图将这些因子"圈养"在一个统一框架内,通过最优组合捕获所有可预测信息。

7.2 因子张成检验

研究通过张成回归(spanning regression)检验 zookeeper 是否能被其他因子解释,结果一致显著:

  • Zookeeper 对其他因子回归后,截距项普遍显著为正(年化 2.4% — 6.0%)

  • 反之,其他因子对 zookeeper 回归后,截距大多不再显著

唯一例外是偏度因子(skewness),它与 zookeeper 互相不张成。这说明 skewness 携带了 zookeeper 未捕获的独立信息。

7.3 横截面资产定价检验

测试资产共 155 个组合,包括 37 个 C 类变量各自构造的 4 分位组合(148 个)加 7 个板块组合,是迄今最大的商品测试资产集合。

对照模型包括:

  • Szymanowska et al. (2014):AVG + basis

  • Bakshi et al. (2019):AVG + basis + momentum

  • Boons and Prado (2019):AVG + basis-momentum

  • Gu et al. (2024):AVG + relative basis + basis-momentum

时序定价检验(Fama-French 截距检验)显示,augmented 模型加入 zookeeper 后,平均绝对截距 和显著截距比例均下降;其中仅含 AVG + zookeeper 的两因子模型,GRS 统计量为 32.35,与四因子或包含 7 个因子的"厨房水槽"模型(Kitchen Sink)水平相当。

Fama-MacBeth 横截面定价检验进一步表明:

  • Zookeeper 的风险价格在所有 augmented 模型中显著为正(t 值 2.6 — 4.3)

  • 加入 zookeeper 后调整 平均提升约 4.4 个百分点

  • 即使控制全部 7 个传统因子(kitchen sink),zookeeper 仍然定价显著(t = 2.6)

7.4 因子的稳健性

研究进一步用非线性集成模型构造了一个 zookeeper(N-En) 因子,以及仅使用 SHAP 重要性排名前 10 的变量构造的精简版本 zookeeper(C10)。两者均在 Fama-MacBeth 检验中保持显著的定价能力,说明 zookeeper 的定价力来自跨理论的信号融合,而非特定模型形式。

八、Zookeeper 作为 ICAPM 状态变量

8.1 状态变量假设

Merton (1973) 的 ICAPM 框架认为,能够预测未来投资机会集(investment opportunity set)变化的状态变量应该被定价。研究检验 zookeeper 是否具备状态变量属性,采用如下预测回归:

其中 是 zookeeper 在过去 个月的累积收益,被预测变量 包括:未来 个月的商品市场累积收益、市场波动率、G7 通胀、联邦基金利率、一年期实际利率。

8.2 实证结果

  • Zookeeper 正向预测未来商品市场收益(扩大投资机会集第一矩)

  • Zookeeper 正向预测未来市场波动率(缩小投资机会集第二矩)

  • Zookeeper 负向预测 G7 通胀

  • Zookeeper 正向预测联邦基金利率与一年期实际利率

后两组结果表明 zookeeper 预示着宏观经济条件的恶化。综合而言,zookeeper 同时反映对投资机会集的两面影响,其风险价格符号在理论上是经验问题——而实证结果显示其风险价格为正且显著,与 ICAPM 的状态变量解释一致。

这一发现的核心启示是:单一的静态因子(如 basis)作为状态变量是不够的,动态加权的因子组合才能更好地刻画与未来投资机会和宏观状态相关的可定价信号。

九、商品收益的商业周期特征

研究最后讨论了一个相对独立但重要的发现:商品风险溢价(即条件期望收益)呈现反周期特征,而已实现收益呈现顺周期特征。

具体而言,按 NBER 的周期划分以及 Gorton and Rouwenhorst (2006) 的早晚阶段划分:

阶段

已实现收益(年化)

12个月预期收益

24个月预期收益

60个月预期收益

早期扩张

7.28%

2.78%

3.19%

2.06%

晚期扩张

0.27%

1.67%

0.30%

2.24%

早期衰退

-5.93%

0.76%

1.33%

5.02%

晚期衰退

-18.54%

3.52%

11.45%

8.09%

晚期衰退已实现收益最差(-18.54%),但 24 个月预期收益却最高(11.45%)。这与股票市场的经典发现(Cochrane, 2011)一致:商品期货同样是风险资产,在"坏时期"现实收益低、预期未来收益高,反映投资者风险厌恶或感知风险升高时要求更高补偿。

十、对量化研究者的启示

第一,多通道融合的范式价值。在商品研究中,过去围绕"哪个理论才是对的"的争论可能本身就是错误的提问方式。三大通道在不同时点、不同维度上各自重要,集成预测远胜单一信号。

第二,简洁性原则在小样本场景中仍然成立。在商品期货这种品种数量有限、信噪比偏低的市场,复杂的非线性模型并不能稳定胜过精心正则化的线性集成。这并不否定深度学习的价值,但提示我们要尊重数据规模与噪声水平的约束。

第三,SHAP 等可解释 AI 工具的研究价值。对于黑箱预测器,SHAP 不仅能告诉我们哪些变量重要,还能在跨理论比较中提供量化口径,这对实证资产定价是一项普适工具。

第四,因子组合的动态权重 vs 静态因子。Zookeeper 的成功提示我们:随时间变化的最优权重比固定权重因子能更好地代表与未来机会集相关的状态变量。这一思路可扩展至其他资产类别。

第五,文本数据的边际价值有限但存在。FinBERT 抽取的新闻情绪本身预测能力不强,但在与其他变量组合时仍能提供一定增量信号,对于做信号工程的从业者是一个值得参考的基准。

附录:核心因子的构建说明

为了便于复现,这里整理本文涉及的几个关键预测变量与因子的构造。

基差(basis):近月合约价 / 次近月合约价。 为 12 个月移动平均。

相对基差(rbasis):近-次合约基差 / 次-远合约基差。 为 12 个月移动平均。

基差动量(bmom):近月合约 12 个月累计收益减次近月合约 12 个月累计收益。

套保压力:净空头商业头寸总商业头寸(来自 CFTC CoT 报告)。 为 12 个月平均;。

投机压力:净多头投机头寸总投机头寸,定义类似。

Zookeeper 因子构造步骤:

每月用最近 120 个月的数据估计 Stepwise、PLS、Ridge、LASSO、Elastic Net 五个线性模型

对每个品种用 37 个 C 类变量生成下月收益预测

五个模型预测等权平均得到 L-En 预测

按 L-En 预测在横截面上排序,做多最高四分位、做空最低四分位

月度再平衡,全额抵押

参考文献

Fan, J. H., Li, X., Qiao, X., & Zhang, T. (2026). Call the Zookeeper: A Unified Framework for Commodity Risk Premiums. Working Paper, Griffith University, City University of Hong Kong, and Curtin University.