人类见闻
386篇原创
OpenAI的Chat GPT最近染上口头禅了…
原因出在一个叫“书呆子”的个性选项上(让AI语调俏皮、热衷使用比喻的风格设定)。
用户选这个模式,AI就被要求说话别太严肃,多用点有意思的比喻。工程师还给它设了一道奖励机制,越像书呆子,得分越高。AI很快找到小窍门了:往回答里塞个哥布林、塞个小妖精的比喻,得分就高了。
可是书呆子模式明明只占全部回复的2.5%,却贡献了三分之二的哥布林出现次数,实验室对比同一道题发现,带哥布林的回答比不带的得分高出76%。
麻烦的是,这个哥布林口头禅会传染,书呆子模式的哥布林回答没被单独隔离,混进了之后下一轮训练数据里,不带书呆子设定的对话,也开始哥布林了。
这下好了,形成哥布林闭环了:用哥布林拿高分;哥布林高分回答当教材;教材哥布林再喂回去;模型学得更哥布林了。除了哥布林,还有浣熊、巨魔、食人魔、鸽子等词…全一起混进来了。
三月份,公司砍掉了这个书呆子模式,训练数据也筛了一遍,但GPT-5.5的哥布林训练早在这之前就开始了,哥布林口头禅已经学到它“内心深处”了。
Codex的源代码一公开,这行禁令被全世界看到了。CEO出来调侃,说这是“哥布林时刻”。
开源社区里还有人写指令去掉了哥布林禁令,把哥布林全放出来玩。OpenAI的工程师也半开玩笑地说,可能真会把这个禁令做成一个可选的开关。
哥布林AI它只是太想拿哥布林高分罢了
,"total_cnt":1,"vote_id":460352234}]" data-itemshowtype="0" data-delflag="0" data-fail="0" data-retry="0" bdsfid="454">
请在手机微信登录投票
本文一共提到多少次哥布林?单选
1
2
3
哥布林
关注并加星标⭐️接收人类文明新资讯
*您的「➕关注点赞↪️分享♥️推荐评论」都是我们持续更新的动力!
* 本文综合自网络,仅用于学习交流分享,数据及表述以官方发布为准。如遇信息错误,欢迎评论区指正!
热门跟贴