今天终于把提示词、评测和数据集在Arize Phoenix里搭了起来，先跑了一个小样本：24条Jev调用。结果比预想的分歧更多。

打开网易新闻 查看精彩图片

这个规模谈不上结论，但足够暴露问题。24条调用放在一套评测框架里，分歧密度超出预期，说明自动评测和人工判断之间还有不小的缝隙要补。

下一步的计划是扩样本，并拿到一批带标签的数据，用来训练一个多头的小型分类模型。多头意味着一次输出多个维度的判断，而不是把所有信号压成一个分数。这部分后续再更新。

眼下的自动每日评测，暂时选定Sol 6.1。先跑起来，后面再做更多抽查。

整套流程的顺序很清楚：先把提示词、评测、数据集三件套在Arize Phoenix里落地，再用小样本试水，然后扩量、标注、上分类模型。24条只是起点，真正的判断要等标注数据到位之后。