我以前有一条简单的功能发布规则：如果A/B测试赢了，就发布。这条规则在我消费产品领域的大部分职业生涯里都适用，很少让我失望。

然后AI时代来了，在构建AI功能的过程中，它不再成立了。

打开网易新闻 查看精彩图片

最能说明这一点的例子，是我在Bumble做的AI照片反馈功能。用户上传自己的资料照片，获得建议，让照片组合更适合他们的约会资料。构建这个功能让我学到了很多关于在产品中发布AI的复杂性。我们的测试设计得很好，结果也准确，但它们就是没有回答我需要回答的问题——我们到底该不该发布它。

研究说用户想要，上线后却没人点

问题在测试跑起来之前就开始了。我们的研究验证过，人们愿意接受AI帮他们改进资料，前提是不是由AI生成的，所以需求看起来明摆着。可我们上线后，用的人并不多。研究没有错。说你对AI持开放态度，和在晚上刷资料的过程中选择去点一个按钮，是完全不同的两回事。所以真正造成差异的不是模型，而是功能出现在流程的哪个位置，以及人们是否明白它是干什么用的。当用户看到AI时，他们会有疑问，我们需要比平时更详细地说明这个功能会做什么、怎么运作，才能建立信任、换来使用。

平均值好看，翻出反馈才发现问题

然后我们看结果。普通功能里，测试组每个人看到的东西一模一样。生成式功能不一样，每个人看到的内容都略有差别。我们的整体数字看着还行，然后我看到一份反馈样本，建议一个在照片里已经笑得很灿烂的人“多笑笑”。平均值不会显示这种事。你只有去读真实输出才能发现，然后搭建评估机制，让输出多到没法人工逐条检查时还能持续读下去。这件事有多重要，自然取决于功能本身是干什么的。

越成功，账单越贵

然后是账单。我们大多数人成长的系统里，规模越大，单用户成本越低。生成式AI经常反过来：每次有人使用这个功能，你就要为一次新的生成付费，所以它越成功，成本越高。我们有一个版本表现很好，成本却高到我们无法交代。坐在那场会里很难受，因为仪表盘一片绿，答案却依然是不行。

我们自然试了更便宜的路子。我们换成更便宜的模型，再混入一些传统机器学习。成本降下来了，效果也跟着降。那一刻我才真正意识到，一个漂亮的测试结果也属于那个特定的模型，而不属于这个想法本身。于是我们又回到原点，重新寻找并测试一个既在预算内、又能跑出正向结果的版本。

一个国家赢了，不等于处处能赢

最后一个意外和概率无关。大多数功能，在一个国家赢了，在哪儿都赢。AI监管不是这么运作的。它因市场而异，而且一直在变，我们的功能在大多数国家处于被拦状态，直到逐个市场获批。你只能先搞清楚哪里允许测试，所以一个市场的结果，对下一个市场说明不了太多。在实验开始之前就把法务和合规拉进来，对减少返工、用对的利益相关方来规划范围和可行性，可能是关键的一步。

说了这么多，这些一点没让我对实验失去兴趣。随机测试仍然是我知道的、了解一个功能对真实用户做了什么的最诚实的方式。我只是不再把一个正向结果当成终点线了。

在放大一个AI功能之前，我想知道的东西多得多：输出的表现在平均值之外是否还站得住，把所有成本都算进去之后是否还划算，这个胜利换到一个我们付得起的模型上是否还成立，以及我们被允许在哪些地方上线它。

“它赢了吗？”仍然是我开始的地方。只是不再是我停下的地方。