3 月 8 日 - 12 日，腾讯多媒体实验室负责人、杰出科学家刘杉，在 MIT 中国创新与创业论坛虚拟峰会上，介绍了腾讯多媒体实验室的当前业务及相关成果，并展望了多媒体信息产业的未来。

图 | 腾讯多媒体实验室负责人、杰出科学家刘杉（来源：腾讯）

以下为刘杉部分演讲内容摘要：

腾讯多媒体实验室的研究领域及产品研发方向包含多媒体引擎压缩与传输通信、智慧融合媒体、互动沉浸式媒体。实验室同时负责国际国内行业标准制定，包含多媒体数据压缩、网络传输协议、多媒体系统、5G 和 AI 等。

图 | 腾讯多媒体实验室在标准制定工作上的四个主要方向（来源：腾讯多媒体实验室）

在产品上，腾讯多媒体实验室智慧媒体研发方向主要是通过数字信息理论和深度学习技术相结合，对多媒体内容进行处理、理解、再生产以及质量评估，利用图像、视频、音频、文字等多种模态信息，综合视频降噪、超分、倍帧、锐化、色彩增强，以及识别、检测、OCR、NLP 等多种技术手段，在终端和云端提升视频画质并实现对多媒体内容的感知、加工和创造。比如游戏游玩过程中，一局结束后自动剪辑生成的 “精彩片段” 短视频；再比如优化社交软件上的内容推荐机制，以及内容是否会让用户觉得 “比较有趣” 的预判；此外还有旧影像的修复与重建等。

图 | 机器学习在多媒体信息中的应用，上：自动生成游戏过程的精彩剪辑；中左：内容的识别和分类；中右：内容质量判定；下：旧影像或残缺影像的修复（来源：腾讯多媒体实验室）

在谈到市场情况时，刘杉指出，疫情之下多媒体视频业务相关市场的复合年均增长率（CAGR，通常被用于计算某一特定时间段内的增长）高达 19%，全球多个地区都曾爆发过带宽紧张的问题，有的地区甚至因带宽资源过于紧张而迫不得已要求供应商暂时降低其服务的质量，以将带宽资源留给办公等更重要的通讯和信息活动。

而与带宽资源紧张问题并存的，则是用户对视频物理质量越来越高的诉求。比如更高的分辨率、更高的颜色亮度上的 dynamic range、更高的帧率等。从历史数据来看，2017 年时 SD（Standard Definition, 如 720x480p,720x576p）和 HD（High Definition, 如 1920x1080p，1280x720p）各约占视频类总带宽资源的 50%；而在 2019 年，SD 所占的带宽资源份额则跌至视频类总带宽资源份额的 1/3，HD 开始成为市场上的主流，UHD（Ultra High Definition, 如 3280x2160p 以及俗称的 4K）所占的份额也在逐渐攀升。根据刘杉的说法，预计到 2022 年，UHD 所占的份额或将攀升至视频类总带宽资源份额的 1/4。

与此同时，她指出，中国产业经济信息网数据显示，自 2016 年以来，中国的 VR 内容每年增长率约为 2 到 3 倍，而这也是腾讯多媒体实验室的另一个产品开发重心 —— 沉浸式媒体。刘杉认为，随着相关技术越来越成熟，未来人们会逐渐不再满足于仅观看一个 “2D” 画面的变化，而是会期望去 “参与” 到一个高于 2D 的信息呈现方式中。其表示，沉浸式媒体市场的估值预计到 2025 年或将攀升至 1610 亿美元左右，而沉浸式内容较现有的 “2D” 内容在各层面上都更为复杂，比如在决定沉浸式内容质量的因素中，内容的录制、预处理、压缩、传输、解压、后期处理、渲染、交互及显示等方面都更加复杂，这会对行业提出许多新型技术要求。

图 | 腾讯的四种用户自由度的沉浸式媒体内容（来源：腾讯多媒体实验室）

刘杉认为，已存在多年且一直在多媒体领域扮演重要角色的 “信息压缩和解压” 技术，在当前各种需求都在提升甚至转型的大背景下，依然会发挥重要作用。因此腾讯也将继续在视频或其它类媒体信息的压缩和解压上加大投入，并将 “拥有下一代领先的媒体信息压缩技术” 作为战略目标之一。

据刘杉所展示的内容，腾讯是中国最早参与并致力于开发视频信息压缩和解压标准的公司之一，现已在视频编解码技术上处于全球领先的地位，比如自腾讯 2018 年参与 H.266/VVC（Versatile Video Coding，一个国际视频压缩标准）的构建以来，其多媒体实验室已有约 100 项技术被标准采纳。同时，腾讯近期在标准截稿仅三个月后发布的 H.266/VVC 播放器，能对 UHD 影像进行实时解码，较标准参考软件解码速度快了约 20 倍，性能上在全球行业内处于领先地位。

图 | Point Cloud Compression 原理简介（来源：腾讯多媒体实验室）

刘杉指出，未来更高标准的信息以及沉浸式媒体内容兴起后，对多媒体信息的压缩和解压技术所提出的要求应该也会进一步提升，腾讯多媒体实验室目前也在对点云 Point Cloud 技术进行研究。事实上，真实世界可以采用点云来进行数字化表达，点云信息不仅包括三维空间中的位置，还可以包括如颜色、强度、时间等多维度信息，因此其数据量非常巨大。基于此，腾讯多媒体实验室在点云方向的研发包括了三维采集重建、压缩传输以及三维渲染互动。