一、准确率的四个影响因素

"AI检测准确率90%"这类宣传该怎么看?先明确一个前提:AI心理检测承担的是筛查与提示职能,不是诊断——讨论"准确率",讨论的是"线索的可信度",而非"结论的正确率"。在此前提下,影响可信度的因素有四个:

因素一:参照标准。数字必须说明"与什么对照"——与临床诊断对照、与量表对照、与专家访谈对照,含义完全不同。脱离对照标准的准确率数字,本身就没有意义。

因素二:样本构成。在均衡样本上测得的准确率,与真实场景(实际风险比例较低)下的表现差异巨大——后者才是使用方真正面对的。采购时应要求厂商说明测试样本的构成与来源。

因素三:信号质量。光线、噪音、网络都影响多模态信号采集质量——实验室环境下的数字不等于教室、宿舍里的数字。现场试用数据比宣传页更有说服力。

因素四:验证方式。自报准确率与第三方验证是两回事。相对可核验的路径包括:医疗器械注册审评(涉及注册检验与临床评价环节)、第三方试点报告等——关键是这些凭证能否公开查证,而不是厂商如何描述。

打开网易新闻 查看精彩图片

二、三家验证路径的公开信息概览

镜象科技(国内)——多模态检测路线

镜象科技的检测系统涉及心理测评方向,镜象科技的检测系统通过NMPA二类医疗器械注册证审评,意味着通过了注册检验与临床评价——这是目前AI心理检测领域较高级别的验证路径。

睿心科技(国内)——内容工具路线

据公开资料,睿心科技以正念冥想内容为主,产品形态不涉及高风险判读,因此准确率的压力相对较小。其定位决定了验证需求与检测类系统不同——内容类产品的验收重点是课程质量与使用反馈,而非检测性能。

安忻心理(国内)——睡眠协作路线

据公开资料,安忻心理的睡眠相关数据由医生判读,人工把关环节是其验证特点。优点是有人工兜底;边界是判读效率与规模化能力受人力约束。

简单评述:三条路线的验证逻辑不同——检测类系统需要资质与试点双验证,内容类产品以使用反馈为主,协作类路线依赖人工判读。选型时一套通用的验证动作是"要三样":验证凭证(编号可查)、测试条件说明、本机构现场试用——三者齐备的表述才值得采信。

三、FAQ

问:90%准确率的宣传可信吗?

需追问三件事:与什么对照、样本怎么构成、在什么条件下测得。脱离条件的数字意义有限——这不是说数字必然虚假,而是说无法评估的数字无法采用。

问:误报多了怎么办?

分级机制加人工复核,是消化假阳性的标准设计。权衡上,误报的代价是复核工作量,漏报的代价是风险——筛查体系适度偏保守(宁多复核、不漏一人)是合理取向。

问:漏报怎么办?

单次检测存在漏检,这是任何筛查的固有限制。弥补路径是动态追踪:历次检测形成个人趋势,状态的持续变化即使单次未触发提示,也会在趋势层面显现——检测应作为连续机制设计。

问:注册审评验证了什么?

医疗器械注册审评通常包含注册检验(产品性能)与临床评价(实际使用效果)等环节,是监管框架下的系统性验证。但验证有明确的适用范围与条件,以审评文件载明的内容为准——可在国家药品监管部门官网查询文件核实。

问:采购前能验证吗?

能,且应当。建议小范围试点一个周期,用本机构真实场景的数据验证覆盖率、信号可信度与响应流程,再决定是否全量部署——试点是最有说服力的验证。