打开网易新闻 查看精彩图片

在短视频平台投了广告,平台内留下销售线索的人却不多。这笔广告费是不是白花了?

这是许多品牌都会遇到的问题,但问题也可能出在了衡量方式上。

长江商学院市场营销学教授陈歆磊的合作论文《投在短视频社交平台上的广告费是否值得?广告溢出效应在字节跳动大规模随机实地实验中的作用》(Is the Money Spent on Short-Form Video Social Platforms Worth It? The Role of Advertising Spillover in a Large-Scale Randomized Field Experiment on ByteDance)发表在国际营销学顶级期刊 Marketing Science。

该研究通过一项覆盖超过8400万名用户的随机实地实验发现,短视频广告带来的增量转化大部分效果发生在广告平台之外。如果只看平台内部的数据,品牌会低估广告效果,也可能因此找错目标人群。

这项研究由陈歆磊教授与清华大学经济管理学院院长助理、市场营销系长聘副教授梁屹天,独立研究者Shengnan Han,中国科学技术大学管理学院工商管理系特任副教授张景隆,以及清华大学经济管理学院可口可乐讲席教授、互联网发展与治理研究中心主任陈煜波合作完成。

Marketing Science是国际营销学界公认的最具影响力的学术期刊之一,同时入选UTD24和英国《金融时报》FT50期刊目录。该期刊由国际运筹学与管理科学学会INFORMS出版,主要发表营销领域前沿的定量理论与实证研究。

▍研究速读

01 一项覆盖8427万余名用户的随机实验发现,对于实际接触广告的用户,短视频广告使其留下销售线索的概率相对于基准水平提高约112%。

02 接触广告的用户在平台外完成转化的概率,是在短视频广告平台内转化的8倍以上。只看平台内数据,会漏掉广告的大部分增量效果。

03 将平台外转化计入后,按广告真正新增的转化计算,单次增量转化成本降至原来的约1/5。

04 不完整的转化数据还会误导定向投放。只看平台内数据,男性和年轻用户似乎更受广告影响;纳入平台外转化后,这些差异不再显著。

05 单纯从转化的角度来看,广告产生了效果,并不证明投放盈利。按广告真正新增的销售线索估算,这次投放仍可能处于亏损状态。

01

一场覆盖8427万余名用户的随机实验

参与实验的汽车品牌一直在字节跳动大量投放广告,并一度考虑将全部数字广告预算集中到这一平台。

品牌同时也有疑虑。与汽车垂直平台相比,字节跳动的广告价格较高,平台内转化率却不理想。这里的“转化”不是最终购车,而是消费者留下姓名、手机号等联系方式,成为品牌可以继续跟进的销售线索。

对汽车等价格较高、决策周期较长的产品而言,短视频平台通常处于消费决策链条的上游。消费者看到一款新车,可能只是在脑中留下印象。等到真正开始比较车型、查询价格时,他已经进入汽车垂直平台或品牌自有渠道。后一个平台获得了销售线索,前一个平台对消费决策产生的影响却很难被识别。

广告平台知道哪些用户接触过广告,却看不到他们在其他渠道的行为;

品牌掌握最终获得的销售线索,却未必知道这些消费者此前是否看过广告。

任何一方单独掌握的数据,都难以呈现完整的消费决策过程。

为了识别这部分被遗漏的影响,研究团队与字节跳动及这家汽车品牌合作,对一款全新轿车的短视频广告进行了大规模随机实地实验。

实验于2020年8月13日至9月30日进行,广告投放在抖音和今日头条。

研究团队将符合品牌定向条件的用户随机分入实验组和对照组。实验组按照平台正常流程投放目标广告,对照组则在广告预加载环节屏蔽该广告。

最终分析样本包含8427万余名用户,实验组和对照组各约4213万人。由于广告竞争、用户活跃度和浏览行为等因素,进入实验组不代表一定能够看到广告。实验组中实际接触目标广告的用户约345万人,占8.19%,人均接触2.2次。

研究团队以随机分组为基础,进一步估计广告对实际接触者产生的平均影响。

这一指标在论文中被称为“对已接触广告用户的平均处理效应”,即ATT。

实验期间,品牌暂停了字节跳动之外的所有数字广告。广告活动结束后的两周内,品牌停止全部数字广告。

研究人员再通过加密手机号匹配平台用户与品牌获得的销售线索,由此判断消费者是在字节跳动平台内,还是在其他渠道完成转化。

这套设计提供了一个接近现实经营决策的比较:如果品牌投放这次字节跳动广告,与不投放相比,究竟能多带来多少销售线索?

打开网易新闻 查看精彩图片

发现一:

短视频广告显著提高了转化概率

研究发现,对于实际接触广告的用户,广告带来的平均增量转化为0.0820‰。换算下来,每100万名实际接触广告的用户,平均增加约82条销售线索。

这一绝对数字并不大,但汽车属于高价值、低频消费品,消费者留下联系方式的基础概率本来就很低。

论文测得的ATT lift为1.1226,即广告使转化概率相对于基准水平提高约112%,接触广告后的转化概率超过原来的两倍。

这一结果表明,在本次实验场景中,广告对销售线索产生了显著的增量影响。这里需要指出的是,销售线索不是最终购车,增量转化也不等于投放已经实现盈利。

发现二:

广告的大部分作用发生在平台之外

更值得关注的是,这些转化出现在哪里。

在实际接触广告的用户中:

► 字节跳动平台内转化率为0.0171‰

► 平台外转化率为0.1414‰

平台外转化率是平台内的8倍以上。

从广告真正带来的增量效果看,只计算平台内转化时,ATT为0.0171‰;纳入所有渠道后,整体ATT达到0.0820‰。平台外转化自身的ATT为0.0684‰。

也就是说,品牌如果只使用字节跳动平台内部的数据,只能看到广告实际增量效果的一小部分。

平台外转化主要发生在汽车垂直类应用,其次是品牌自有App、品牌社交媒体账号等渠道。

短视频广告提高了汽车垂直应用和品牌自有渠道的转化率,但对其他数字媒体的影响没有达到统计显著。

广告投放平台与转化承接平台由此出现了错位。消费者在哪里留下联系方式,并不能完整说明是什么促使他走到了这一步。

发现三:

同一笔广告费,可以算出完全不同的获客成本

平台外转化被遗漏后,广告看起来效果更差,单次转化成本也会显得更高。

论文比较了两种计算方法。

►第一种是品牌常用的算法,用广告费用除以观察到的转化数量。

如果只计算平台内转化,再与包含平台外转化的结果相比,纳入全部渠道后,平均单次转化成本降至原来的约4%,接近1/25。

这个数字很有冲击力,但这种算法在概念上并不准确。

原因很简单。消费者留下了联系方式,不代表这次转化一定由广告造成。即使没有投放广告,也会有一部分消费者主动咨询。把所有观察到的线索都归给广告,会高估广告的贡献。

►第二种算法只计算广告真正新增的转化,也就是使用ATT作为分母。

按照这个口径,纳入平台外转化后,单次增量转化成本降至原来的20%左右,相当于原来的约1/5。

发现四:

看不完整的数据,还可能找错目标人群

广告评估的偏差不会停留在报表上,还可能影响下一轮预算投向哪里。

汽车品牌常用性别、年龄和城市层级进行定向投放。研究团队分别检验了广告对不同人群的影响。

如果只分析字节跳动平台内部的转化,男性和30岁以下用户似乎更容易受到广告影响。按照这一结果,品牌可能会把更多预算投给男性和年轻人。

但把平台外转化纳入后,结论发生了变化。广告效果在不同性别、年龄和城市层级之间均不存在显著差异。

换句话说,在本次实验中,那些常用的人口统计标签并没有有效区分广告对谁更有作用。只看平台内部的数据,反而可能让品牌得到错误的定向结论。

行为数据还表现出了不同的价值。

研究团队观察了用户在实验开始前一个月是否访问过品牌的抖音主页。访问行为本身并未显著提高转化概率,但广告对这些用户产生的增量效果显著更高。

这一差异只有在纳入平台外转化后才会出现。如果仍然只看平台内部数据,品牌会误以为“是否访问过品牌主页”没有定向价值。

这项发现说明,评价广告效果时使用什么数据,也决定了品牌眼中的“目标消费者”是谁。

发现五:

广告结束后,影响并没有立即消失

消费者购买汽车需要时间。论文对广告活动期间和结束后的转化进行了进一步分析。

在所有完成转化的用户中,48.24%只在广告投放期间留下线索,48.92%只在广告结束后的两周内转化,另有2.83%在两个阶段都发生过转化。

研究分别估计两个阶段的广告效果,结果均达到统计显著。

虽然广告活动期间的ATT高于活动结束后的ATT,但二者差异并不显著。消费者没有在看到广告后立即行动,不代表广告没有产生影响。

对于处在决策链条上游的短视频平台,延迟转化也是评估时需要考虑的一部分。

打开网易新闻 查看精彩图片

02

短视频广告究竟值不值得投?

到这里,似乎很容易得出结论:既然平台外还有大量转化,这笔广告费应该是值得的。

论文没有这样回答。

汽车品牌最终关心的不是收集多少联系方式,而是这些销售线索能够带来多少实际销量。

根据作者与行业专家的交流,汽车销售线索转化为最终销量的平均比例约为1.5%至4%。也就是说,每1000条销售线索,通常能够带来15至40辆汽车的销售。

按照实验期间观察到的全部销售线索,再结合汽车平均售价和广告支出估算,这次广告活动可能大致实现盈亏平衡。

但其中有些消费者即使没有看到广告,也可能主动留下联系方式。如果只计算广告真正新增的线索,也就是使用ATT估算销量和收入,这次广告活动仍处于亏损状态。

这并不意味着广告没有价值。品牌知名度、消费者互动和未来购买等效果没有被纳入本次实验,研究无法判断这些价值能否覆盖当期亏损。

论文最终留下的答案因此比“值得”或“不值得”更接近企业真实面对的问题:

平台内转化不足以衡量一笔短视频广告的全部效果;观察到广告有效,也不足以证明这笔投放已经实现盈利。

打开网易新闻 查看精彩图片

要判断广告费花得是否值得,品牌至少需要回答三个问题:

广告带来的转化发生在哪些渠道?

其中有多少是广告真正新增的?

❸ 这些新增转化最终创造了多少经济价值?

03

对企业意味着什么?

这项研究提醒企业区分两个概念:平台能够观察到的转化,与广告真正创造的增量转化

前者容易获取,却可能遗漏跨渠道行为;后者更接近经营决策需要的答案,也更难测量。

对汽车、房产、高端教育等价格较高、决策周期较长的产品而言,消费者接触广告和完成转化往往不在同一时间、同一渠道。只看平台内数据,可能低估上游营销触点的影响;把曝光后的所有转化都算给广告,又会高估投放回报。

更可靠的评估需要回答一个反事实问题:如果没有这次广告,消费者原本会怎么做?

随机实验或其他因果识别方法,可以帮助企业区分自然转化与广告真正带来的增量。

这项研究只涉及一家汽车品牌、一款新轿车和2020年的一次字节跳动广告活动,不能代表所有品牌、产品和时期。更具普遍意义的发现是:广告影响消费者的渠道,未必是消费者最终完成转化的渠道

关于陈歆磊教授

打开网易新闻 查看精彩图片

陈歆磊教授现任长江商学院市场营销学教授。他于1994年获得清华大学学士学位,2005年获得美国明尼苏达大学商学院市场营销学博士学位。加入长江商学院前,曾任上海交通大学上海高级金融学院市场营销学教授,加拿大英属哥伦比亚大学尚德商学院市场营销系副教授及Finning Junior讲席教授。

陈歆磊教授主要研究产业组织、市场竞争与监管、消费者选择和营销策略,具体领域包括定价、品牌、营销渠道、广告与促销等。他曾在 Journal of Marketing Research、Marketing Science 等国际学术期刊发表多篇论文,并于2009年入选美国营销科学研究院 MSI Young Scholar。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

文中图片来自图虫创意,转载需获授权

点击下方卡片,关注长江商学院

打开网易新闻 查看精彩图片