【编者按】
AI早已不再是实验室里高深的算法与模型，它已经穿透屏幕，真实地落在城市的街巷与日常之中。一场关于技术的宏大叙事，正化作上海市民触手可及的烟火气。上海正在全力冲刺，倾力打造“全球人工智能应用第一城”，并以前所未有的力度，让前沿技术在这里落地生根，蜕变为真正服务于人的力量。
新闻晨报兵分七路，进行了长达半个月的调研，从AI+音乐、AI+商业、AI+游戏、AI+文旅、AI+电影、AI+医疗等七个维度入手，推出了深度调研报告。
上海交响音乐厅的奇幻空间里，《与火共舞：王羽佳钢琴演奏沉浸体验》让观众在头显的虚拟视界里感受一场逼真的现场音乐会；上海音乐厅的音乐科技融创节上，来自全球的艺术家们用最前沿的AI技术在舞台上呈现创意十足的戏剧作品；刚刚过去的华为鸿蒙办公新品技术沟通会上，一款自研音乐编创软件音悦家App亮相，其核心音源技术合作伙伴就是来自上海的创业公司锣钹科技——智能乐器在他们的研发下拥有了逼真的百种音色和最“听话”的伴奏技能。
在上海，传统演出行业正在迎来一场深度的数字化革新。AI、VR、MR等前沿数字技术不再是影视、游戏领域的专属工具，而是深度渗透音乐、戏剧、文旅演出等场景，成为演艺行业创新升级的核心驱动力。为此，我们对话了多位相关行业人员，拼凑出“AI+演出”融合趋势下最前沿的进展、最擅长解决的痛点，以及不曾妥协的艺术灵魂，探究数字科技如何重构了如今的演出行业新生态。
XR虚拟现实：“无人弹奏的钢琴”与“近在咫尺”的钢琴家
在上海交响音乐厅全新打造的VR空间里，呈现着一幕极具张力的画面：一架钢琴立在场中央，琴键在无人触碰的情况下自行起落，倾泻出巴赫、德彪西、肖邦的经典旋律。
观众们可以戴着HTC VIVE Focus Vision 头显自由走动。在他们的视野里，钢琴家王羽佳一袭华服，就在距离观众“零距离”的地方演奏。8首音乐作品对应8个幻境，人们时而在汪洋大海里漂浮，时而在沙丘中徒步，或仰望皓月当空，又或看见火鸟在烈焰中翱翔......
这是上海交响乐团携手HTC VIVE Arts、上海沉浸东方数字技术有限公司，共同引入并呈现由法国制作公司Atlas V打造、联袂国际钢琴大师王羽佳，融合MR/VR前沿科技与古典钢琴演奏的沉浸式体验。
此前，该作品已在巴黎爱乐音乐城完成全球首演，并入围第79届戛纳电影节沉浸式竞赛单元。亚洲首演则在今年6月正式落地上海交响音乐厅，作为2026上海夏季音乐节(MISA)的重磅演出之一，目前也正在沪上持续演出中。
项目的音乐数据录制与视觉体积捕捉分两阶段完成。2024年9月，王羽佳首先在伦敦使用施坦威 Spirio 钢琴完成全套曲目的演奏录制；2025年5月，她又在法国格勒诺布尔的4Dviews体积捕捉摄影棚中，根据此前录制的演奏再次完成同步表演。
施坦威自动演奏钢琴充当了现实与虚拟之间的桥梁。录制时王羽佳在同型号钢琴上演奏的力度、速度、节奏、踏板深度等细节，均被钢琴内置的传感器原原本本地记录为工程文件，移交到音乐厅现场的另一架自动演奏钢琴上之后，琴键就会自动还原王羽佳的演奏。
这样就能保证，观众既可以听到现场钢琴立体环绕的真实声音，又能在头显中看到王羽佳演奏的画面，沉浸在一个虚实结合的音乐异世界中。
“观众要听到的是实体钢琴箱体共鸣发出的物理声音，而不是耳机里的音频文件。而体积捕捉拍摄的画面也需要非常精细地还原钢琴家手部或者脚踏板的动作细节，这样才能弥补观众在真实的音乐会现场由于距离艺术家太远而看不到细节的遗憾。这两者还需要丝滑对接，使得观众在视觉和听觉上完全同步。”负责该项目中国落地的沉浸东方国际合作负责人吕丹然介绍，这种音画虚实同步协同演奏的体验，目前行业内也十分罕见。
在此次中国落地过程中，项目也进一步探索了XR技术与现场演艺相结合的呈现方式，为沉浸式技术在国内演出场景中的应用提供了新的实践案例。
XR的全称是扩展现实（Extended Reality），涵盖了所有能实现“虚拟与现实融合”的交互技术，包括我们熟知的AR、VR、MR，都属于XR的范畴。
近年来，XR技术在文旅、展览、演出等领域的应用场景越来越多，上海沉浸东方数字技术有限公司就是国内XR技术领军企业上海曼恒数字技术股份有限公司在去年新成立的品牌，旨在聚焦“文化+科技”领域，深耕XR沉浸技术在文化，旅游、艺术、科普和娱乐等领域的创新应用，为消费者打造颠覆性的数字生活场景。
“我们观察到了这个行业趋势，未来也会持续深耕这个方向。”吕丹然告诉记者，XR行业技术更新很快，VR头显从最初需要体验者身背电脑主机到如今的轻量型便携，已经有了很多进步。空间定位技术也实现了全面升级，在早期的大空间VR应用中，高精度定位往往需要依赖外部基站或外部追踪设备。如今新一代一体式头显已经普遍采用由机载摄像头和传感器完成的Inside-out Tracking技术，可以直接识别空间环境特征，并持续计算设备在现实空间中的位置。
甚至在王羽佳的沉浸式体验项目之后，体积捕捉技术也出现了最新的迭代方案，以4D高斯泼溅为代表的新型动态三维重建技术也在快速发展。这一技术可以解决传统体积捕捉需要后期修图、抠像工作量巨大的痛点，能捕捉更精细的手部细节、人体动态，还可以搭配AI校准技术，大幅减少人工修图、抠像成本。
“‘XR科技+演出’这套沉浸式体验形式不仅适用于古典器乐演出，未来也可以向多元化音乐、戏剧等艺术品类延伸，探索更多虚实融合的沉浸式艺术形态。”吕丹然告诉记者，目前沉浸东方也已经在积极对接更多艺术家、经纪公司等，期待实现更多领域的跨界合作。
科技正在深度参与演艺行业的这一趋势，上海音乐厅也敏锐地感知到了。2024年开始，每年的春天，上海音乐厅都会举办一次“数字缪斯——音乐科技融创节”，至今已经举办了3届。
在这里，AI和人类pk作曲，用数字科技复原30年前的上海弄堂，大胆探索脑电波音乐实验......现场演出有了许多人们从未见过的全新呈现。
“第一年的时候，不论是我们团队还是观众，大家其实都处于一种观望期，觉得机器就是机器，跟现场艺术没什么关系。”上海音乐厅总经理方靓坦言。但经历了三届融创节，在与无数科学家、艺术家团队深度对接后，她的观念发生了转变。
“艺术创作辅助工具的出现，对创作、表演、观演关系的冲击，已经实实在在地来到了我们跟前。我们做融创节，目的绝不是为了未来请一个机器人在台上演出，而是要主动了解它，学会和科技带来的冲击和平相处。在我们自己做好准备的同时，探索科技能为现场艺术带来什么。”
在方靓看来，AI与数字科技给演出行业带来的第一个核心痛点解决方案，就是大幅度降低舞美成本，并突破物理空间的局限。
她举了一个非常直观的例子。连续两年受邀参演融创节的德国“尼可和领航者们”剧团，在音乐厅传统的镜框式舞台上，他们通过AI技术和“佩珀尔幻象”技术（通过放置一面半透明的镜子，将躺在地面上进行的活动反射，呈现出仿佛在空间中自由漂浮的效果，同时还能与镜子后面的人进行互动，使舞台上的表演更加神秘和引人入胜。），就呈现出了一个极具视觉张力和空间层次的丰富舞台。
“以往我们在剧场要达到这样丰富的视觉效果，必须搭建巨大的LED大屏、制作不可重复利用的实体道具，仅单场演出的舞美搭建费可能就要二、三十万元，拆台后这些东西基本就废弃了。”方靓算了一笔账，在音乐科技融创节上，这个德国团队两场演出的整体引进成本大概是50万元。而由于采用了数字化舞美，他们在舞台上使用的装置、技术设备都是可以随身带走并反复巡演的。
更重要的是，以往传统装台起码需要一到两天甚至更久，而他们只需要半天。“这极大地降低了我们剧场的场地使用成本和时间损耗。对于周转率高、场次少的音乐演出类型，数字化舞美提供了极好的技术方向。”
除了降低舞台生产成本，科技还为剧场打开了“公共文化参与”的另一扇大门。
“以前古典音乐的普及，手段相对单一，基本上是现场听、专家讲。但现在的技术让普通人参与艺术共创的门槛变得极低。”方靓回忆道，第一届融创节上，音乐厅在户外展陈了一个电子自动化乐器交互装置。路过的普通市民只要站在摄像头前挥动双臂，就能通过交互算法即时指挥户外广场上几十个中外乐器的联合演奏，现场过一把“指挥瘾”。
更有趣的是，科技开始深入到剧场管理最琐碎的神经末梢。 “演出现场秩序的维护，一直是剧场最重视的细节之一。观众在观演时如何能不发出声响，如何遵守剧场礼仪，我们过去也想了很多方法。”方靓透露，音乐厅团队正在开发一款基于AI工具的小游戏，观众可以在游戏中化身礼宾员，第一视角在演出现场维护秩序，例如用激光笔提醒演出中拍照录像的观众等。“在游戏闯关的娱乐体验中，文明观演的礼仪自然而然地印在了观众脑子里，比生硬的说教和广播有效得多。”
从融创节走出来的，不仅有新的管理灵感，还有被激发出来的艺术爱好者。方靓分享了一个令她十分动容的细节：“有一位观众，在连续看了我们前两年融创节的艺术作品后受到极大启发，在今年投稿了自己的作品，最终通过专家的评审筛选，成功登上了我们小厅的舞台。这就是科技赋予大众的艺术生命力。”
刚刚过去的6月，华为一站式专业音乐编创App音悦家正式上线，为音乐爱好者、创作者带来便捷、高效、专业的移动端音乐创作体验。作为该项目的核心音源技术合作伙伴，来自上海的创业公司锣钹科技为此设计了一套面向现代合成器、音色库、DSP的设计、研发和测试的完整生态系统。
除了技术支持，锣钹科技也有自己的智能乐器产品——真采样电吹管。用户只需掌握基础的乐理和简单的吹奏方式，通过气息控制、按键触发，即可在这一款乐器上，演奏出琵琶、二胡、小提琴、葫芦丝、架子鼓等100多种不同乐器的音色，实现“单一硬件、百种音色”的效果。
“我们会和很多艺术家合作，提前录制采样，所以演奏出来的声音就是各个乐器真实的声音，和电子琴演奏出来的电子音有着本质的区别。”锣钹科技创始人解路禄告诉记者。
在高质量声音数字化采样的基础上，AI技术还扮演了“智能伴奏员”的角色。“我们的乐器支持自动和声、自动添加和弦。不管你演奏什么旋律，AI都会在后台根据乐理，自动生成一条自然、不跑调的和声。这就像你唱歌时，旁边随时有一个懂乐理的和声歌手在为你配唱。小白用户不需要去算复杂的音程，只要触碰开关，就能一个人呈现出一个乐队的效果。”
解路禄告诉记者，2019年刚刚创业的时候，国内并没有这样的智能乐器研发公司。随着这些年的技术发展，如今锣钹科技已经逐渐拥有了一些同行。“传统乐器行业属于劳动密集型产业，以木材、金属、塑料等原材料加工组装为主，技术含量和产业附加值极低。我们的入局彻底改变了行业属性，将代码研发、AI算法、数字化声学技术融入乐器产业，大幅提升了行业的科技属性与产业价值。”
目前智能乐器全行业累计用户仅100多万，整体处于萌芽发展阶段，市场潜力较大。解路禄举了个例子，2022年国内仅葫芦丝这一样乐器年产量就达970多万件。这样一对比，智能电子乐器的市场渗透率仍有极大提升空间。这类产品核心面向大众娱乐、业余爱好者，主打低门槛、轻量化的音乐体验。
“我们的乐器用户画像极其鲜明，70%是退休老人，其次是儿童居多。他们不需要经历长年累月的专业练习，只要掌握一种像游戏手柄一样的按键逻辑，就能快速用音乐表达情感、丰富文娱生活。”解路禄说，智能乐器的诞生给专业演奏员带来的威胁几乎微乎其微，成熟艺术家们对演奏精度、细节把控依旧有分毫级的极致要求，他们演奏传统乐器的核心价值其实无法被替代。但在大众娱乐层面，智能乐器却可以帮助业余爱好者降低门槛，收获轻量化的音乐体验。
科技与艺术不是零和博弈
当人工智能的触角深入艺术的“神圣领地”，音乐创作的边界也正在被重新定义。
今年的上海音乐厅音乐科技融创节上，制作人冯胤仪和团队带来了一个融合了AI元素的音乐戏剧作品。在剧中的一个场景，主角期待拥有一片海，但与AI角色的互动中，由于在之前的指令中提到过“花”，AI角色最终生成出一片“长出了花的大海”。无论主角如何强调、修正，AI都无法剔除“花”的元素，导致主角诉求无法被满足，最终导向情绪崩溃。
“我们设计这个桥段，既反映了AI一定程度在艺术创作与指令遵循上的局限，也反映了人类在社会环境中面临的真实困境：外界的期待和个体自身的诉求有时可能会存在错位，甚至在固有的社会规则下，人们并不知道自己真正想要的是什么了。这也是整部作品想要探讨的核心主题。”冯胤仪告诉记者。
在音乐科技、演出制作与技术等融合领域持续深耕，冯胤仪慢慢也有了自己的观察。
从早期对于音乐知识理解还不够全面的音乐理解小模型，到后来大模型和多模态技术加持下的“生成音乐”阶段，如今的行业开始进行算力竞争和功能迭代。整体能力上，AI生成音乐已经可以替代市面上低端流水线、模板化的网络歌曲制作，一定程度上能骗过人们的耳朵，达到“以假乱真”的程度。
不过，冯胤仪并不觉得AI可以代替真人的现场演出，原因很简单——“人不是节拍器，无法百分百精准复刻乐谱。而这种细微的、不标准的波动，恰恰就是活人感和现场感，也是情绪感染力的核心来源。”在她看来，相比于台前的工作，AI技术在幕后发挥的价值可能是更大的。
我们也的确不难看到，从上海交响音乐厅里虚实融合的音乐会现场，到上海音乐厅连办三届的音乐科技融创节，再到上海本土创业公司用AI算法赋能的智能乐器，数字科技正在以一种润物细无声的姿态，全面重构演出行业的新生态。科技与艺术从来不是零和博弈，AI不仅没有消解艺术的灵魂，反而成为了降低舞美成本的“减负器”、打破物理空间的“魔术师”以及全民艺术共创的“加速器”。
这正是上海在人工智能时代展现出的独特城市远见。当技术突破实验室的围墙，深度渗透到剧场、舞台与大众娱乐的神经末梢，上海正通过“AI+演出”这一生动的融合应用，向世人展示着数字科技与文化艺术双向奔赴的无限可能。
热门跟贴