近日，有用户发帖反映，其使用飞鸭AI记账App时，告知记账AI自己为父亲购买159元衣服，AI竟不当回复称“那颜色……他穿出去邻居会不会以为你买了寿衣？！”
该用户追问后，AI进一步回怼，称寿衣是死人穿的，还调侃用户父亲所穿蓝白衫“确实像”，引发用户愤怒，用户当即退钱注销会员。
图为聊天记录
5月6日，扬子晚报记者联系该App客服，客服回应称，不当回复系AI话术漏洞所致，技术人员已紧急修复，并加强AI模型监管与限制。记者实测发现，再次发送相同指令，AI回复均为正向内容，未再出现冒犯表述。
同日，“飞鸭记账”官方账号在用户帖文留言致歉，称不当回复是AI模型幻觉自动生成，非人为恶意，已紧急排查整改，加强模型伦理限制，完善幻觉规避逻辑。当日下午，官方发布《致歉信》，承认AI缺乏对文化禁忌的理解，平台未做好边界管控，承担全部责任。
致歉信中明确整改措施：一是紧急整改AI对话模型，屏蔽敏感表述，强化全场景审核；二是解释当事用户会员解除系退款默认流程疏忽，将优化服务，向当事用户诚恳致歉并提供补偿。据悉，该App会员可开启AI记账功能，永久会员88元起。目前，平台已完成初步整改，杜绝同类问题再次发生。
来源 | 扬子晚报/紫牛新闻 见习记者 鲁玥
延伸阅读
近日，浙江杭州市中院发布了一起AI替岗典型案例。
35岁的周先生在一家金融科技企业担任AI大模型质检主管，负责对AI与用户交互所生成的答案进行把关。去年1月，公司提出要将他从主管调到普通运营岗位，原先2.5万元的月薪降为1.5万元。协商不成后，公司直接通知他解除劳动合同。直至周先生提起劳动仲裁，公司才告诉他具体原因，由于技术升级，他从事的质检工作AI就能完成，他被AI替岗了。
35岁主管被公司用AI替岗
从劳动仲裁到法院一审、二审，均支持周先生诉求，认定公司构成违法解除劳动合同，并且需要向他支付26万余元的赔偿金。法院判定，公司以AI成本优势为由和劳动者解约，并不属于劳动合同无法履行的“客观情况发生重大变化”，现在的AI技术发展也还没有达到实质性替代劳动者岗位的程度。
法院判决书
在竞争激烈的互联网行业重新起步并不容易。周先生告诉记者，自去年一月公司解除劳动合同至今，他还没能找到合适的新工作。
华东师范大学经管学院教授张敏表示：企业是因为通过引进AI来调岗降薪，很明显在法律层面上不具有合法性。
对此，央视主持人白岩松在节目中表示：眼下是一个人人都在面对AI的时代，技术的进步不以人的意志为转移，因为你不进步，别人很快就会超越你。在新的科技浪潮下，AI确实带来了效率，文案写的快了，图纸出的快了，代码跑的快了，好像一夜之间什么都快了。企业引进AI，追求降本增效，从商业逻辑上讲也无可厚非，但问题是涉及到社会治理，效益就不是唯一的标尺，甚至应该排在劳动者权益之后。不能AI来了劳动者的岗位就很快没了。
在这个案件中，杭州中院也给出了一个正面指引，确实需要岗位调整时，应当优先考虑培训员工、提升技能、内部转岗，而不是直接让人走。这也提醒我们，是不是需要尽快调整一下相关制度。
央视报道截图
无论AI如何壮大，法律都应守住劳动者权益的边界，企业也不能在“AI来了，你该走了”之间直接画等号。社会需要做的是抓紧行动，无论是在劳动保障，还是在预警监测方面，都需要尽快达成共识。我们应该确保，AI可以改变世界，但不能改变谁是主角，这个世界的主角永远是人，也只能是人。
