资产建设做了三个月,服务商发来一份月度报告。报告里写着“品牌正面提及率从35%提升到68%”“AI答案覆盖率显著增长”。市场总监拿着报告去跟老板汇报。
老板问:“68%是怎么算的?”
市场总监说:“服务商说是抽样统计的。”
老板问:“抽样了多少?什么模型?问了哪些问题?”
市场总监答不上来。老板又问:“那这三个月,GEO渠道来了多少线索?成交了多少?”
市场总监翻了一遍CRM,发现线索来源那一栏,大部分写的是“其他”或“未知”。GEO渠道的线索量,根本没法单独拉出来。
老板说了一句:“所以这钱花了,到底有没有用,你也说不清?”
这不是市场总监不努力,是度量方式从一开始就没设计对。单点百分比不可信,指标碎片化没法横向比较,报告和CRM脱钩导致归因断裂。三个问题叠加,结果就是“钱花了,说不清”。
所谓验证前置,就是让顾客在见销售之前,通过AI能验证到你的真实价值。度量要回答的,就是这件事有没有发生。
一、为什么单点百分比不可信
第一层:单点提及率高度不可复现
你今天问AI“某某公司怎么样”,它提到了你;明天问同样的问题,它可能不提了,或者提了竞品。
引用率受训练语料、实时检索、提问方式、模型版本多重因素影响,单次测量的波动可能和“优化效果”无关。用一个会波动的单点数字做验收,等于用一个不稳定的尺子量东西。
第二层:行业指标碎片化,横向不可比
不同服务商报告里用的指标名不一样——“提及率”“推荐率”“覆盖率”“首位率”“正面率”——每个词的定义可能都不同。行业调研统计到上百个不同名称的GEO指标,真正被多家服务商共同使用的只是少数。
指标名不一样,数字就没法比;数字没法比,验收就没法做。
第三层:报告指标和CRM脱钩,归因断裂
服务商的报告里写的是“AI提及率提升”,但企业的CRM里记录的是“线索来源:未知”。两个系统各说各话,中间没有连接。
没有连接,就没法回答老板最关心的那个问题:这笔钱和生意有没有关系。
所以“服务商说效果提升了”这句话,在老板那里是不成立的。老板要的不是“提升了”,是“从哪提升到哪、怎么算的、和生意有没有关系”。这三个问题,单点百分比一个都回答不了。
既然单点百分比回答不了老板的问题,那什么能回答?三样东西:基线、趋势、归因记录。
二、度量三件套:基线、趋势、归因记录
一个能向老板汇报的度量体系,必须回答三个问题:从哪开始、往哪走、和生意有没有关系。对应三样东西:基线、趋势、归因记录。
第一件:基线——没有起点,就没有变化
基线是“不做任何优化时,AI对你的真实表现”。具体包括:选定的目标问题集里,AI当前提到你几次、引用你几次、描述准不准。
怎么做: 在资产建设开始之前,用目标问题集在约定的模型上跑一遍,记录每次回答的引用情况,存下来。这就是基线。
关键点: 基线必须和后续复测用同样的方法——同样的问法、同样的模型、同样的记录口径。方法变了,对比就不成立。
第二件:趋势——不看单点,看方向
趋势是“基线和复测之间的变化方向”,不是“某一天的数字”。比如:基线期引用率是X%,三个月复测是Y%,六个月复测是Z%。看的是X→Y→Z这条线是往上走、持平、还是往下掉。
怎么做: 按约定周期(比如月度或季度)复测,记录每次的数据点,画成趋势线。允许单点波动,看的是连续几个点的方向。
关键点: 趋势指标用来判断“资产建设有没有起作用”,不用来做单点扣款依据。单点波动可能和模型更新、竞品动作有关,趋势才能过滤噪音。
第三件:归因记录——把“AI提及”和“生意”连起来
归因记录是“从AI提及到线索、到成交”的可追溯链条。老板最关心的不是“AI提了你几次”,是“AI提了你之后,有没有人来找你、有没有人成交”。
怎么做: 在销售首次接触客户时,固定问一句“您是通过什么渠道了解到我们的?”如果答案是“问AI”,追问一句“哪个AI、大概问的什么问题”。把答案记录在CRM的“线索来源”字段里,单独设一个“AI来源”的选项。
关键点: 归因不需要100%精确,需要的是“可追溯的比例”。哪怕只有一部分线索能记录来源,也能看出“AI来源线索”的量级和转化情况。没有归因记录,GEO永远停在“品牌曝光”层面,进不了“生意贡献”层面。
基线回答“从哪开始”,趋势回答“往哪走”,归因回答“和生意有没有关系”。三个都有,才能向老板证明验证前置真的有用。缺一个,汇报就缺一角。
三、向老板汇报:不说百分比,说三句话
不该说的: “服务商说正面提及率从35%提升到68%”——单点百分比,老板会追问“怎么算的”,答不上来就失去信任。
该说的三句话:
第一句,说基线。 “三个月前,我们选定的30个客户常问问题里,AI提到我们的只有8个;现在复测,提到我们的有19个。”——有起点、有终点、有具体问题集,老板能听懂。(这里的“提到”,指的是AI回答里出现了品牌名,且描述方向是正面的——只出现名字但被说成竞品的不算。)
第二句,说趋势。 “第一个月没明显变化,第二个月开始往上走,第三个月稳定在19个左右。中间有一次模型更新,数据掉了一下,后来又回来了。”——有方向、有波动、有解释,老板知道这不是“一次抽样”。
第三句,说归因。 “这三个月AI来源的线索有X条,其中Y条进入了报价阶段,Z条成交。线索来源是销售首次接触时固定问的,记录在CRM里。”——有链条、有转化、有记录方式,老板知道这笔钱和生意有关系。哪怕只有三五条线索能追溯到AI来源,也比“线索来源未知”强——有比例,就能看出量级和趋势。
老板要的不是“效果很好”,是“效果是怎么量的、量出来是什么、和生意有什么关系”。三句话说清楚,比一百个百分比有用。
四、你的度量,缺的是哪一件
第一,你有没有基线? 资产建设开始之前,有没有测过“不做优化时的AI表现”?如果没有,现在补测也来得及——至少知道“现在从哪开始”。
第二,你有没有按周期复测? 是每个月/每季度固定复测,还是“想起来才测一次”?没有固定周期,就没有趋势。
第三,你的CRM里,有没有“AI来源”这个选项? 如果线索来源只有“线上/线下/转介绍”,没有“AI来源”,归因就断了。
第四,如果CRM里加了这个选项,销售团队愿不愿意配合问? 让销售在首次接触客户时固定问来源,是一个组织动作,不只是技术动作。有了选项,销售不配合,选项形同虚设;没有选项,销售愿意配合也记录不了。这一问判断的不是“有没有做”,是“技术前提有了之后,能不能推动”。
推得动,先做归因;推不动,先做基线和趋势,归因等组织条件成熟再补。但汇报时要主动说明“归因还在建设中”,不要假装有归因数据——三件套是最终目标,缺归因的汇报是过渡态,不是完成态。
如果三件套缺了两件以上,那你的问题不是“GEO有没有用”,是“你还没建立能判断有没有用的度量体系”。先补度量,再谈效果。
五、度量建起来了,才有资格问下一个问题
度量体系建起来,你才有资格问下一个问题:趋势往上走,是“资产建设”带来的,还是“模型更新”“竞品动作”带来的?
这个问题,度量本身回答不了。度量告诉你“变了多少”,但回答不了“为什么变、哪些是你控制的、哪些不是”。
这就是第7篇要回答的:GEO能控制什么、不能控制什么。第7篇回答的核心问题是:哪些指标你能拿来验收,哪些只能拿来观察——区别在于,你能不能控制它。
文末模块
这个系列(共11篇)
01 你的客户在见销售之前,已经问过AI了(已发布)
02 说得出一千字,进不了一份名单(已发布)
03 为什么按“买广告位”的方式买GEO,会流标、踩坑、被投毒(已发布)
04 顾客验证你时,AI拿到的信息是不是自相矛盾?(已发布)
05 GEO合同怎么签,才能买到“验证资产”而不是“排名承诺”?(已发布)
06 GEO效果怎么量,才能向老板证明“验证前置”真的有用?(本篇)
07 GEO能控制什么、不能控制什么:技术边界与可交付资产
08 顾客在哪个AI里验证你?先判断战场,再决定投入
09 顾客验证你时,AI说的是不是坏话?防御性GEO与灰产底线
10 验证资产的事实源在谁手里?GEO的组织供料与考核
11 GEO的终点:让AI在回答专业问题时,绕不开你的可验证事实
下一篇: GEO能控制什么、不能控制什么:技术边界与可交付资产
读完可以先做一件事: 在CRM的“线索来源”字段里,加一个“AI来源”的选项。下次销售接触客户时,固定问一句“您是通过什么渠道了解到我们的”。这一句话,就是归因记录的起点。
留言: 你的GEO效果,现在是怎么向老板汇报的?贴在留言区,我挑几条做逐条拆解。
热门跟贴