今年ChinaJoy的主题是:与AI同游,AI技术应用是展会的主要亮点。

别只排队玩 ChinaJoy 的 AI NPC:一句话让大模型给你做专属桌面 AI 桌宠
打开网易新闻 查看精彩图片
别只排队玩 ChinaJoy 的 AI NPC:一句话让大模型给你做专属桌面 AI 桌宠

主办方在N2馆特意设置了一个ChinaJoy Next Play创新游戏体验场,以集中试玩的形式呈现AI游戏与AI互动娱乐领域的最新探索成果。

观众可以在这里体验到AI NPC、互动叙事、生成式内容、AI陪伴以及AI创作工具等多元形态的产品与Demo,感受AI与游戏深度融合的实验场景。

这个展区展出的AIGC游戏相关项目超过70个,类似“一句话生成游戏”的叙事表达更是随处可见。

其中,字节的AI全流程制作游戏《不问凡尘》以及灵榫游戏的AI原生游戏《共鸣计划》以及等,都吸引大量玩家排队体验。游戏中的AI NPC互动体验大幅提升,有些玩家表示AI NPC 比自己还了解自己。

打开网易新闻 查看精彩图片

甚至有些人认为女朋友都没有这本事。这就有点过了,哈哈哈,AI能替代真人吗?不过,确实体现了玩家们对AI NPC的喜爱。

比较专业的是,该展区不只能试玩游戏,也为玩家和行业提供了现场评估AI游戏成熟度的场景。玩家可通过试玩观察并评估AI角色的记忆与决策能力、生成内容的稳定性、交互等待时间对沉浸感的影响等关键指标。

这些指标,反映了这些产品的智慧引擎也就是内置大模型在长上下文 + 幻觉控制 + Agent 工程 等 方面的能力。

看到这里,我就在想,既然都在提一句话生成游戏,AI NPC这么受欢迎,正好Doubao-Seed -Evolving模型在ChinaJoy最后一天8月3日完成了新一轮更新。能不能也用Seed Evolving 一句话复刻一个自己平时工作、生活中的AI NPC呢?

打开网易新闻 查看精彩图片

于是,就有了这个demo。

说实话,开始的想法有些纠结,这个AI NPC应该是什么样子的。是让它身处游戏环境中以2D的形态与我交互,还是让它可以更自由的在PC桌面上进行交互。前者有更多趣味性,后者的可玩性更强。

所以,咱就不做选择题了,有的功能都整上。先做前者再做后者,游戏状态稳定了再搞桌面版,前期是游戏NPC,后期成为一个带剧情可互动有环境的桌宠。

跟以前一样,为了测试Seed Evolving最近刚更新的Agent 工程强化能力,这里也不会提前设计游戏构建文档,只提需求,剩下的规划全部由模型完成。

这个需求,只是描述了我想到的它应该有的功能,其他的功能的让它自己的来发挥。这个任务基本就是一个桌面游戏诞生的全部流程,从初步建模到最终交付exe可执行文件的全过程。

同时我还在任务要求中让它适当进行优化和迭代,意味着这个任务会更复杂,用到的推理会更多,流程会更长,当然执行时间应该也会更长,希望目前的token够用。

开始执行。

打开网易新闻 查看精彩图片

在理解了任务需求后,它把任务分成了12个步骤。然后开始有条不紊的按步骤执行任务。

打开网易新闻 查看精彩图片

任务进行的很快,约10分钟,已经完成了一半。

打开网易新闻 查看精彩图片

小游戏的制作,也完成的很快。

终于来到打包环节,不知道能不能一次性成功制作出可在桌面运行的AI NPC。

打开网易新闻 查看精彩图片

耗时42分钟,燃烧1000万左右的token后,这个任务终于完成。来看看任务交付情况。

打开网易新闻 查看精彩图片

它给这个AI NPC项目取了一个名字叫作 灵伴 LingBan,自写代码约2240行,包括14个与源码文件。

先看看网页版。可以看到我们要求的功能,网游戏、换皮肤和换环境,还有记忆库功能基本都有了,只是我想实现的人物可以移动能够到处串门的功能没有,可能是没领会我的意图。

打开网易新闻 查看精彩图片

第一版给出的人物形象,呃,一言难尽。不过只用分层的SVG图片,第一版能够做成这样已经不错了。

当然这也跟我没要求它用生图模型生成人物图片有关。美工这块,后面的迭代中是可以用生图模型来搞定的。这不是重点,重点是看NPC的交互功能。

有个有意思的小功能是,会有陌生人来跟这个NPC互动,被动访问也算是有互动了。就是,来访问的人是个方块怪。哈哈,SVG的通病啊。

打开网易新闻 查看精彩图片

音乐功能,网页版只能做到打开QQ网页版。设置按以后,右上角会显示正在播放的歌曲,另外时间、天气和心情也都有显示。音乐功能属于另一套系统,无法简单的视线,看来只能在以后的版本中迭代了。

比较遗憾的是,设置好它的大脑大模型之后,在线模式无法启用,不知道桌面版是否能够正常使用。

再试试桌面版。网页版存在的情况,桌面版同样存在。

打开网易新闻 查看精彩图片

需要说明的是,不管如何迭代,还有因为网络等问题如何断联,Seed Evolving都不会措施上下文,有条不紊地再原有的人物步骤上增加新的任务,直到把任务跑完。

打开网易新闻 查看精彩图片

现在AI NPC的基础框架已经有了,剩下的就是功能调优和美工优化。

经过几个版本的迭代,现在它变成了这样。

打开网易新闻 查看精彩图片

图片变成了真正的2D立绘,点击人物就能聊天,4套可更换皮肤,3个可更换环境,日程随意自定,记忆库可以上传小说或者日记,强化NPC的记忆。设置里面可以设置任意OpenAI兼容模型,换上以后就能在线聊天。对了,右下角的桌宠小姐姐也是能互动的,也可以自由拖动。

打开网易新闻 查看精彩图片

感觉怎么样?如果感兴趣,你可以用下面的链接体验一下网页版。

https://48292f35f9a0454c8f97ebfafa442cf8.gz5.agentos-app.net/

这个案例看起来比较简单,其实已经把doubao-Seed-Evolving的Coding 工程能力、Agent 检索能力以及幻觉控制能力,包括长程人物能力都得到了验证,比上一次更新又有了不小的进步。

比如任务一口气执行了接近50分钟,期间调用工具次数多达375次而不中断,就彰显了它的长程任务能力。

还有这个任务一开始规划就选用了契合用户要求的electron库,为项目奠定了基础,另外自己输出了几千行代码和数十个文件,并且项目一次性跑通,这就是Agent工程能力的体现。

此外让它制作的内嵌小游戏猜谜语和成语接龙,都没有胡编乱造,真正用了成语库,这个也是难能可贵。

打开网易新闻 查看精彩图片

美中不足的就是,token燃烧得比较疯狂,哈哈。到这里,这个案例也已经烧了几千万token。

后面的迭代,我会给AI NPC加上更多的人物、皮肤、场景、动作和互动,还会把它和workbuddy等桌面Agent打通,让它不只能聊天,就能通过桌面Agent执行包括本地软件操作在内的各种任务。

这样,AI NPC在前端作为交互形象,桌面Agent在后端执行任务,数字员工、数字陪伴的形象就会更加具体。既可以做游戏 NPC,也可以成为展会向导(小游)、客服陪练、教育导师、虚拟陪伴以及用于品牌营销互动等,场景还是蛮丰富的。

再迭代几个版本,一个能够24小时陪伴大家的多才多艺的能说又能做的AI NPC就会就会与大家见面。

到时我会把它开源,大家随时体验。

看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,也可以给个星标,你的支持就是我的动力。