“先秦淑女步 素~ 步步有态度 素~”

打开网易新闻 查看精彩图片

6 月 7 日,《和平精英》的新皮肤双生神装“镜域双华”一经上线,便在玩家群体中引发了热烈的讨论,大家迈着优雅的“先秦淑女步”从阶梯飞行器一步步走下来的场景更是成了网络热梗,截至目前,#和平精英镜域双华#抖音话题总播放量已突破2亿+。

打开网易新闻 查看精彩图片

回过头来看,这次的新神装能火出圈,主要会有两点原因。

第一,神装本身品质较高,有足够多的可以讨论的点。新神装跳出单纯皮肤、外观的概念,通过文字、动漫等方式塑造了一个“一体两魂”的泛二次元人设。从基础形态的“娇弱憨萌妹妹”到战斗形态的“英姿飒爽姐姐”,再到炫耀合体形态,每个形态都有独特的外观表现和故事背景,满足不同用户的文化体验。

第二,官方也为大众用户们做了破壁活动。通过与“天生建模脸”的张予曦进行合作,将双生姐妹的角色形象以COS的形式呈现于现实之中,在相关物料中,张予曦仿佛是一个从二次元走进现实的人物,让玩家一时之间分不清虚拟与现实的边界到底在哪里。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

从年初至今,《和平精英》已经多次冲上热搜,火到更广阔的泛娱乐、现实世界。从“黄金木乃伊”火爆全网,到五周年的超大体量版本更新,再到如今的“镜域双华”让玩家见识到了游戏的更多可能。在庞大流量的背后,我们也看到了一些不同的东西:《和平精英》每一次受到的关注,表面上看都是一场与玩家之间的狂欢,在背后支持这场“狂欢派对”的却是光子工作室群技术实力的缩影。比如“镜域双华”皮肤走出的“先秦淑女步”,需要在空中完成“凌空踏步”的效果,对模型和特效的呈现更加严苛,同时这一局的所有玩家都会看到特效,对服务器和硬件优化也提出了要求。看似简单的一个特效,其实是多年技术积累的底蕴。

说到技术,光子在《和平精英》上应用的黑科技,可远不止于此。在刚刚结束的China3DV大会上,腾讯首席科学家,腾讯AI Lab及腾讯Robotics X实验室主任张正友就分享了腾讯在AI数字人领域的最新研究成果,演示了以《和平精英》AI数字代言人“吉莉”为代表的全双工对话数字人技术。在吉莉身上,我们可以看到光子和游戏的另一面。

打开网易新闻 查看精彩图片

数字代言人,从游戏到现实

吉莉作为《和平精英》中备受玩家喜爱的IP角色,不仅仅是一个虚拟形象,更是游戏品牌的代表。游戏内,吉莉是《和平精英》与玩家沟通的窗口,她是与玩家相互陪伴的重要游戏角色,以其独特的魅力和个性,深受玩家们的喜爱;而在游戏之外,吉莉更是品牌外延的一只触手,有效地帮助游戏刷新大众认知,搭建起与主流价值观沟通的桥梁。

尽管吉莉是一个虚拟存在,但她的影响力却不局限于数字世界。在《和平精英》与中国大熊猫保护研究中心的合作中,她化身为“99公益日数字爱心传播官”,传递着公益的温暖与力量。在2022年央视五四青年节特别节目中,吉莉以高保真的动态形象打破次元壁,与现实青年演员、歌手、高校学子们一同送出了别开生面的虚实融合表演,展现青年朝气,号召青年朋友打破陈规,创新进取。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

所以,我们如今看到的吉莉,并不是简单的游戏IP角色,而是频繁活跃在多种应用场景中,与玩家、其他圈层品牌以及各类人群进行深度交互,不断传递正向IP价值的《和平精英》数字代言人。为了更好地完成这些数字和物理世界中的任务,吉莉需要拥有更强大的表达能力,以及更接近人类的交互能力。而支撑这些能力的,正是光子工作室群多年来在AI技术领域的深入探索与积淀。通过不断的技术创新,吉莉得以在虚拟与现实之间自由穿梭,成为了一个真正跨越界限的数字代言人。

联手腾讯AI Lab,探索AI数字人

如果我们把吉莉所在的主要场景加以归纳,可以发现目前她主要集中在两个场景中出现:第一种,与真人直接交互,如3DV演示的那样。第二种,在各式短片、直播节目中当“演员”。

这两种应用场景,正是对应着光子和腾讯AI Lab在AI数字人技术领域的两个探索方向:全双工语音对话AI数字人,以及AI动画制作管线。

在全双工语音对话AI数字人领域,吉莉负责帮助用户更好地进行人机交互。具体来说,是更好地理解用户,并即时、准确、生动地给予反馈,要想实现这种自然的反馈,就要从“听”、“想”、“说”三个方面进行探索。

听:在ASR语音识别技术,VAD语音活动检测技术,AEC声学回声消除技术以及语音、语义的打断和拒识技术等多种能力的配合下,实时、准确地识别多样真人自然语言,实现真正意义上的“边说边听”。

想:即通过LLM(大型语言模型)和RAG(检索增强生成)技术的结合,使吉莉具备了个性化的人设表达和上下文逻辑理解能力。她能够深入理解用户的意图,结合自身的知识和经验,给出更加精准、个性化的回应;

说:通过TTS(文本转语音)语音生成技术和SVC(歌声转换)技术的运用,使得吉莉能够自然、流畅地主动表达,她能够结合应用场景,实现主动对话甚至唱歌。无论是回答问题还是进行对话,吉莉的语音都显得自然流畅,仿佛真人一般。

打开网易新闻 查看精彩图片

(落地应用:《和平精英》吉莉导览腾讯 AIR² 展厅)

除了这些,我们还能看到的是,演示中的吉莉还能在听、说同时,主动配合语义、场景做出自然的微表情、动作表达。这是光子正在探索的新玩意:让全双工语音对话AI数字人从语言交互迈向动画交互,如真人般,可以通过表情、动作等视觉信号表达信息。通过运用Speech2Face脸部AI驱动算法和LLM-based动作预测技术,吉莉能够实现更多样、精准的口型、微表情变化和身体动作表达,进一步提升了与用户的交互体验。

在AI动画管线的应用上,光子和AI Lab成功构建了一套集成多种先进技术的AI动画制作管线。该管线不仅融合了3D云渲染、口型表情动画曲线生成、语音生成等核心功能,还创新性地引入了动作预测与配置、表情驱动等前沿技术。经过多次迭代和优化,最新的AI动画管线3.0算法利用高品质动画数据训练了能支持多语言、多情绪、多个性的预训练模型,并针对吉莉的人设和个性进行了全面的音频、情感、面部动画数据采集和模型优化。这使得吉莉的面部表达更加完美、细腻,能够呈现出个性化的演绎效果。

这套AI动画管线在《和平精英》的各类宣传视频中得到应用,比如亚运期间,吉莉担任「腾讯亚运报道助威官」 亮相腾讯亚运直播间,为体育健儿加油;在《和平精英》与国家反诈中心合作,吉莉与反诈民警的联动,向广大游戏玩家普及诈骗案例、相关法规及反诈手段。这些内容使用AI动画制作管线进行面部表情生成、口型动画曲线生成、动作配置及动画渲染,并使用AR和虚拟演播厅技术进行节目的制作合成,通过多种技术手段提升了节目的专业性和趣味性。

打开网易新闻 查看精彩图片

目前,这套管线已经使得动画制作周期缩短近50%,提升了内容制作效率,使团队得以集中资源提升内容品质,也在内容上给玩家带来了更好的体验。据悉,使用AI管线支持的内容,在推荐、播放、点评赞等数据上均获得了大幅提升,已经成为了官方工作人员的好帮手。

在全双工语音对话技术、人设化大模型技术、 Al 动画管线和其他黑科技的加持下,吉莉作为AI数字人已经展现出更大的潜力,也可以代表《和平精英》官方和玩家去做更多有价值、有意义的事情。当然,全双工对话AI数字人技术只是光子应用到《和平精英》“黑科技”的冰山一角,光子工作室群在多个领域都拥有深厚的技术积累,这些技术都在游戏中得到了广泛应用。

更多“黑科技”持续融入游戏

经过多年的实践与技术积累,《和平精英》及其背后的光子团队成功实现了跨领域技术的融合与创新,为玩家带来了更多新奇体验,也获得了玩家的认可。从目前的情况来看,玩家不仅接受了吉莉数字代言人的设定,还通过多年的陪伴,与吉莉之间产生情感羁绊,《和平精英》数字人的落地应用可以说是初见成效。

在社会价值方面,吉莉和游戏IP积极响应号召,以自身为媒介,以游戏为载体向社会传递正向价值观。五四青年节相关话题在当时多次登上热搜,和平青年、大熊猫保护等话题正是吉莉与《和平精英》为社会带来的正能量。

游戏内,得益于先进的局内视听技术、引擎技术的全面支持,《和平精英》能够不断推出高质量的游戏外观、玩法创新以及画质升级。这使得玩家能够享受到更加流畅、逼真的游戏体验。

比如在震动反馈上,手游因为是纯虚拟按键,所以“手感”上的一部分缺失需要通过震动交互来弥补,普通的游戏,就是调动马达不断的增加震动频率。《和平精英》的震动效果来自腾讯游戏CROS MTGPA团队研究的触觉反馈技术,可以通过频率、强度和振幅时长传递不同的信息,实现200多种不同的震动效果,最大限度的去模拟真实的触感。同时,腾讯与生态伙伴一起建立了该领域首个行业标准,并推动其成为国际标准,确保用户在不同终端上获得同品质的交互体验。

在视听功能上,《和平精英》也是下足了功夫,战术射击游戏对团体交流有着很高的需求,作为一款全民游戏,日常的语音社交也是很重要的用户体验。光子在语音编解码器上不断实现技术突破,率先实现了AI Codec 更低码率更高质量的语音编码,并成功应用于《和平精英》游戏中,为玩家间的沟通提供了更加清晰、流畅的语音体验;同时,HDR技术的运用使游戏整体画质得到极大提升,为玩家带来更具沉浸感和真实感的游戏视觉体验。

在玩家的眼中,流畅的语音通话,精美的游戏画质,丰富的震动手感可能都是最基础的需求,但是从技术角度来说,玩家手中的设备五花八门,要让这些不同的设备同时体验到最好的视听享受,不是一件易事,背后是光子工作室群在技术领域数年如一日的不断投入与钻研。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

(AI绘画、AI捏脸系统以及AI+音频等在游戏中的运用,极大地丰富了玩家的社交体验,为游戏的长线运营提供了有力的支撑)

光子,不止于游戏

腾讯高级副总裁马晓轶曾指出:“游戏其实是一个由技术驱动的、有很多可能性的数字化场景……它和现实世界的相互影响越来越多,提供了更广泛的人与社会的连接方式,并且还能够创造现实价值。”光子在持续提升用户体验的同时,更积极践行腾讯“科技向善”的核心价值观。他们以实际行动,将游戏的力量延伸至文化传承和公益等诸多领域中,为社会发展注入新动力。

AI数字人吉莉不仅作为全球首位出席联合国妇女署活动的AI数字人发表主题演讲,以自身在游戏世界中的经历,向世界传递开放、多元的正能量;更化身为反诈大使,向广大游戏玩家普及诈骗案例、相关法律法规及防范的手段。

(和平精英吉莉携手民警科普诈骗案例、

相关法规及反诈手段)

值得一提的是,2023年,腾讯向社会免费开放了四件最初应用于《和平精英》游戏振动触觉反馈技术的专利。这些技术专利的开放,对于推动无障碍技术的普及和发展具有深远的意义。

打开网易新闻 查看精彩图片

(振动触觉反馈技术运用于出行导航场景,用户偏移或回归正确方向时,会得到长短不同振动模式提醒)

结语:光子工作室群通过不断探索,创新数字化手段,积极拓展技术的边界和应用场景,凭借着更为多元、创新的能力与方式,为更为广泛的商业、文化等诸多领域源源不断地带来积极正向的价值。

在游戏外部,前沿技术的应用,特别是以AI数字人为代表的技术,不仅为游戏带来了新的市场营销策略,更改变了与用户沟通的方式,使竞争更加差异化,更具吸引力,为《和平精英》注入了新的活力。无论是局内还是局外,这些技术支持都是《和平精英》能够全域满足用户需求的坚实基础,也是其保持领先地位的重要支柱。

游戏,正是光子工作室群展现技术实力,实现正向价值传播的最好载体,《和平精英》是光子“黑科技”应用的主要舞台,通过数字人吉莉的展现,让我们看到了虚实融合的可能,也更深刻的理解了AI发展的最终形态是人类的好朋友、好帮手,而不是很多人担心的取代人类。在未来,我们期待看到,光子能在更广阔的领域持续发光发热,为社会进步和发展贡献更多的力量。