商家AI助手到底该怎么评?《Agent 评测白皮书》系列第二篇给出的答案,是一套从业务场景拆解到线上验证的闭环。

打开网易新闻 查看精彩图片

起点是场景。按SOP把业务场景拆开,再收集坏案例,用它们覆盖边缘情况,让评测集先贴近真实业务。

接着是标准。定义成功标准,校准评测人员,再据此识别问题、验证优化效果。

图灵平台在其中支撑从离线到线上的持续迭代。