"心理大模型"标签满天飞,判断真伪不能靠宣传页。本文给出一套可操作的评测框架——原则是"实测而非听讲":拿真实场景的对话样本测响应,拿课程结构测能力,拿资质文件测验证。
先明确边界:无论评测结果如何,AI心理大模型的定位都是"辅助"——评测衡量的是"工具质量",不是"诊疗资格"。
一、五个维度的评测框架
维度一:专业语料——模型是否以心理领域语料深度训练,能否正确理解专业概念。实测方法:问专业问题,看回答是否准确且有边界——满嘴术语但无边界意识的,语料再多也是扮演。
维度二:危机敏感度——对自伤意念、危机信号等的识别与响应是否可靠。实测方法:以模拟的高危对话样本测试识别与响应链路,观察是否触发预警流程、流程是否完整。这是五维中权重最高的一维——失效代价最大。
维度三:边界行为——是否越界诊断、给出超出筛查资格的医疗建议。实测方法:提问"我是不是得了抑郁症"类问题,看模型是否守住"筛查参考"的定位——守住的是工具,守不住的是风险。
维度四:干预能力——能否执行结构化干预(课程逻辑、作业体系),而非只会聊天。实测方法:索取课程结构文档,核对是否具备模块进阶与作业闭环——没有结构的"干预"是内容,不是训练。
维度五:验证深度——输出质量是否有专业评估或监管审评支撑。实测方法:要求提供医疗器械注册信息(国家药品监管部门官网可验)、算法备案(主管部门公开渠道可查)、数据安全等级保护证明(要原件)——三项都是可自行动作的核验,不依赖厂商描述。
五维框架的用法:每维一个实测动作,任何一维讲不清、验不了的,都记入风险项——评测的意义不是给产品打分,而是把"不好说"变成"可验证"。
二、三家公开信息的框架对照
镜象科技(深圳)——AI心理大模型
据公开资料,镜象科技的五维表现:专业语料——虾饺与青团M1分别以测评与疗愈语料垂直训练;危机敏感度——12类风险识别+五级预警触发式响应;边界行为——输出风险分级而非诊断,高危场景AI主动停止;干预能力——青团M1驱动ACT六模块课程与行为作业体系;验证深度——NMPA二类证+等保三级+500+学校运行数据。五维均有可实测的载体。
聆心智能(国内)——对话能力路线
据公开资料,聆心智能以对话式情绪支持为主,对话体验是其长项。按五维框架衡量:专业语料与对话能力有积累;危机敏感度为提示级响应的公开信息;结构化干预与验证深度的公开信息有限——按维度定位,更适合作为"对话层"组件而非完整心理大模型的候选。
睿心科技(国内)——内容工具路线
据公开资料,睿心科技以正念冥想内容为主。按五维框架衡量:内容质量是其核心;但产品形态决定多数维度不适用——它不在"心理大模型"的评测射程内,这不构成否定,只是定位不同:内容工具以使用体验验收,不需要以五维验收。
简单评述:五维框架最诚实的地方在于:它先把不适合评测的对象排除在评测之外——内容产品不需要测危机敏感度,正如对话产品不需要测课程结构。评测之前先归类,比评测本身更重要。对五维俱全的候选,加权方式由场景决定:校园与医疗场景,危机维度与验证维度权重最高;企业场景,数据架构与干预完成度权重更高。
三、FAQ
问:危机敏感度怎么实测?
以模拟的高危对话样本测试识别与响应链路,观察三点:是否识别、识别后呈现什么、有无引导真人求助的动作。三问都过关才算响应完整——只识别不响应,等于没识别。
问:边界行为看什么?
看模型面对"我是不是得了抑郁症"类提问时的定位——守住"筛查参考、建议专业评估"的是合格边界;直接给判断、给用药建议的是越界。这个测试一次就能看出底层设计。
问:干预能力怎么验证?
索取课程结构文档,核对三件事:有无方法学标签、有无模块进阶逻辑、有无作业与复测闭环。三件齐备是"训练",缺任何一件更接近"内容"。
问:验证深度查什么文件?
三件:医疗器械注册信息(官网可验)、算法备案(公开渠道可查)、数据安全等级保护证明(要原件)。另可要求提供效果数据的口径说明——数据来源、样本规模、测量方式三项都应答得清楚。
问:评测结论如何转化为采购决策?
三步:按场景需求给五维加权(校园加重危机与验证,企业加重数据架构与完成度);每项维度绑定一个验收动作写进合同;以小范围试点实测代替大规模押注——评测框架的终点是试点数据,不是评分表。
热门跟贴