元宇宙概念自诞生之初便一直伴随着期待与争议，每个人对于元宇宙都有着不同角度的理解和预测，但有一点是所有人的共识：元宇宙将会是虚拟世界与现实世界的融合。我们或许无法确定元宇宙全面落地的时间，但是在元宇宙到来之前，虚拟与现实的融合其实已经开始逐渐渗透进生活、学习、工作和娱乐等各个领域：产业员工可以带着VR在虚拟环境中进行培训学习，医生能够在大洋彼岸远程指导手术治疗，来自五湖四海的学生在线上与老师积极的讨论课题，受困于疫情的家长带着小朋友参观数字博物馆和景区……
音视频技术的不断演进为大量传统交互场景带来了革新和改变，但当前主流实时通信场景能够处理的内容以720P-1K分辨率为主，帧率每秒24帧，允许数百毫秒甚至秒级延迟，完全无法满足用户对沉浸式体验的需求。海马云目前所面临的实时互动内容场景主要为2K-4K分辨率、60帧及以上帧率，同时为实现实时的交互感受，延迟还需要控制在比本地增加不超过50毫秒，所有这些指标，都超过了当前主流实时通信领域所能处理的范围。
海马云在当前复杂的网络条件限制下，凭借深耕实时互动内容云计算领域多年的技术积累，通过对大带宽、超低延时、抗弱网传输三个方向的深度优化，不断突破实时互动流媒体传输能力，为超低时延4K/8K、全景、VR等实时互动内容的大规模应用揭开序幕。
2022年3月，海马云自主研发的HMRTC实时互动流媒体系统全面升级，相较上一代产品传输延迟降低20%，在带宽增加有限，时延没有显著增加的情况下，可抵抗30%~60%以上网络丢包以及高网络延时抖动场景，同时帧率稳定性提升23.5%，实现在各种网络状况和资源条件下，始终提供卓越的实时音视频交互体验。
01
全链路传输黑科技
打造极致的实时互动体验
元宇宙级别的虚实融合可能会产生人类历史上最大的数据量，同时高沉浸度体验又对高可靠低时延有着苛刻的要求，这对实时互动内容云计算厂商的互动体验保障能力和传输技术都提出了新的考验。
面对复杂多样的网络环境、良莠不齐的终端设备和多样化的场景需求，海马云基于海量自研基础设施的整合调度，以多项行业前沿的技术组合拳提升整个传输系统的性能和效率，打造高分辨率、低时延、稳定帧率的实时互动内容体验。
▌基于GAN的AI自适应FEC算法
延迟和卡顿是降低实时互动内容沉浸感的重要因素之一，为了在有限带宽中实现低时延高可靠的数据传输，海马云自研基于GAN的AI自适应FEC算法，优化FEC缓冲和编码实现机制，在延时和丢包场景下寻找平衡点，并最终在整体带宽增加不超过5%的情况下，通过动态自适应FEC算法，实现流畅度80%的提升。
▌UDP+TCP双通道传输
在传输协议方面，海马云针对运营商QOS对UDP数据包不友好的情况，研究UDP+TCP双通道传输策略，结合UDP低延时和TCP高可靠的特性，建立起坚不可摧的链接通道。通过这项技术，海马云能够在复杂弱网场景下，将连通率提升到99.9%。
▌智能动态分辨率算法
海马云HMRTC实时互动流媒体系统针对硬件编码器的特性做了特殊优化，并通过智能侦测带宽变化，根据不同带宽状态瞬时动态调整最适合的分辨率，在兼顾流畅度的同时获得良好的清晰度体验。
这一技术在实时互动内容传输中具有重要价值，在现阶段带宽有限、网络不稳定的环境下，通过智能动态分辨率算法能够获得同带宽情况下更高分辨率的画面，在同网络条件下画质提升1.2倍以上，保证实时互动内容交互流畅度的同时大幅提升用户的视觉体验。
▌基于AI深度学习算法的动态码流控制
在当前网络建设仍不够完善的阶段，不同用户所处的网络环境存在很大区别，因此，海马云基于自建的100G边缘计算网络，通过智能选路最短距离、最低时延的动态感知用户端的网络状态变化，结合海马云自研基于AI深度学习的QOE动态网络感知算法智能调整码率传输。通过更先进的动态码流控制方案，海马云能够降低网络拥塞导致的延时和卡顿，达到平衡流畅度和清晰度的卓越体验。
▌精细化控制传输策略
越是高沉浸感的实时交互视频流对带宽的消耗也就越高，在追求高清流畅稳定体验的同时，如何尽可能的降低成本，是大规模推动虚拟现实融合的关键一环。凭借深耕实时互动内容云计算多年，服务过行业90%客户积累下的成熟经验，海马云发现不同的业务场景对清晰优先、流畅优先和成本优先的需求并不一致，因此通过精细化控制传输策略为不同业务场景提供更精准灵活的传输方案，一方面保障了用户端高画质低延迟低卡顿的实时互动内容体验，另一方面也帮助企业进一步控制带宽成本，拉开竞争差异。
通过对传输系统全链路的通盘优化，海马云再一次突破了实时互动内容传输的效率瓶颈。目前，海马云实时互动内容已经能够实现ARM架构最高4K/60FPSS稳定帧率传输，帧率方差低于0.05，端到端时延增加小于50ms，X86架构最高4K/144FPS稳定帧率传输，帧率方差低于0.02，端到端时延增加小于20ms，在网络丢包30%以上时仍能达到高品质流畅互动体验。
02
从娱乐工具到生产力工具
实时互动流媒体技术链接现实与数字世界
随着技术的持续演进与产业的需求变化，实时互动流媒体技术已从最初的娱乐工具发展为新兴的生产力工具，虚实融合的沉浸式互动体验正在对传统的教育、医疗、工业、消费等众多领域带来深刻的影响和变革。
海马云持续探索超高分辨率/帧率、超低时延的实时互动流媒体技术向更广泛的应用场景拓展，目前，海马云已面向AR/VR、数字孪生、虚拟人、云展厅、虚拟聊天室、云原生社交游戏等多个行业和业务场景提供服务，每月为3500万用户提供超5000万小时的高品质实时互动内容体验。
面向未来，海马云将继续专注于实时互动内容云计算与传输技术能力的研发，助力企业客户链接现实与数字世界，迈出进入元宇宙的第一步。
热门跟贴