五月初,一位用户在社交平台发帖讲述经历,说自己用飞鸭AI记账时输入"为父亲买159元衣服",结果AI回复说那颜色让邻居误以为是寿衣,还补充解释寿衣是逝者穿的衣物,用户父亲那件蓝白衫确实相似,用户立刻退掉会员注销账号,这件事传开后许多网友认为言论过分,毕竟在中国提到寿衣这类词汇,特别是对长辈而言,完全不属于玩笑范畴。

打开网易新闻 查看精彩图片

6号早上,扬子晚报记者去问了情况,飞鸭方面承认那些话是AI自己编出来的,不是人写的,属于模型幻觉,他们马上修了系统,再试同样的句子,AI就只说已记录支出159元用于衣物类,显得干净利落,当天下午,官方账号贴出致歉信,第一次说明白AI没懂寿衣在中文里是禁忌词,平台也没设好伦理关卡,责任全在自己这边。

整改动作挺快,他们把死亡、生病、老这些词加进高危词库,一碰就拦,所有财务回复都要过两道筛,检查有没有伦理风险,语气合不合适,不能光靠AI自己聊,之前用户退费卡住是系统漏洞造成的,不是故意拖着不给,现在给涉事用户补了会员时间,还送了一年服务。

打开网易新闻 查看精彩图片

飞鸭这个App收费从88元开始,它主打的是用AI帮人记账,还能和人聊几句家常,用户图的就是这种贴心感觉,而不是冷嘲热讽。这次出问题,不是技术太差,而是它学的幽默来自国外,比如欧美网上那种黑色笑话,放在咱们这儿根本行不通。我们这边讲究孝道,说老人穿得像送终,等于直接戳人心窝子。

不止飞鸭一家出问题,今年已经有好几款AI助手因为拿长辈病情和丧葬习俗开玩笑被骂上热搜,背后的原因很简单,训练数据里塞了太多外国梗,没有做本地化处理,厂商觉得加伦理模块太费钱,干脆省掉这部分,结果文化冲突一来,用户就直接跑路,现在飞鸭改完了第一轮,但整个行业还没统一标准。