本文为论文精要，原文刊发于《广播与电视技术》2021年第3期。

扬州广播电视台在扬州马拉松融合传播项目中引入5G、AI人脸识别等新技术，打造实时AI人脸识别融媒体视频分发与传播平台，为扬马赛事提供新型的实时融合传播短视频服务，并与传统电视直播相结合，在大型赛事的媒体融合传播中进行了有益的探索与实践，也为全国市级电视台媒体融合实践及智慧化广电建设提供了一定的参考借鉴。

本文作者

罗斌，男，汉族，1972年生，高级工程师，大学本科学历，扬州广播电视台录制事业部主任，主要从事广播电视直播及录制系统技术管理与保障工作。曾参与扬州电视台制播网络平台、融媒体新闻演播室、高清转播车等重大技术系统工程建设。

0引言

为持续、稳妥地推动扬州区域性智慧广电建设，主动、积极地融入扬州智慧城市建设，不断提升媒体公共服务水平及质量，促使扬州广电从功能型媒体向服务型媒体转型升级，实现扬州广电事业产业高质量可持续发展，扬州广电制订了《扬州智慧广电建设规划》，重点推进智慧化项目建设。本项目正是扬州广电在智慧广电背景下的一次有益探索与实践。

1 项目背景

每年4月在扬州举办的“扬州鉴真国际马拉松赛事”的融合直播过程中，技术上较为突出的问题是卫星与光缆成本较高、无法实现移动化直播，而4G服务质量易受到各种制约，经常出现信号不佳影响受众体验，同时，手机移动端融合直播也局限于互动讨论及直播点播与回放。为此，我们联合扬州通讯运营商进行合作，以5G为技术传输手段，以为扬马跑者提供服务为目标，不仅运用5G实现了融媒体直播信号的稳定优质，在此基础上还为扬马跑者提供了基于人脸识别的个人视频集锦服务。

2系统架构设计

本次项目技术系统总体架构是在充分运用云架构基础资源的基础上，采用摄像机直接编码RTMP推流，通过5G实现扬马沿线跑者信号的传输，在阿里云服务器端对多路并发信号进行自动AI人脸识别预处理，在手机端通过应用服务器实现实时短视频查询与分发，同时，系统将流媒体信号转化为基带信号提供给电视融合直播系统，直接在电视直播流程中展示AI人脸识别短视频服务（见图1）。

图1 系统框架图

2.1信号采集

我们经现场勘查并与运营商进行实际测试后，确定扬马赛程沿线设置6个摄像机位（0km扬马起终点、6.2km泰州路扬马mini终点、7.8km万福路、12.5km平山堂东路、14.5km扬子江北路、20.5km扬马终点等）进行赛事信号采集，采用摄像机自带编码器将高清视频画面编码后以RTMP推流进行网络传输。

2.2信号传输

摄像机将视音频信号编码后，以RTMP推流方式通过5G进行网络传输，具体为摄像机通过有线或无线局域网方式连接至 5G CPE，该设备再通过5G方式与运营商基站相连接，向部署在阿里云的流媒体服务器传输现场信号。

2.3 AI人脸识别

系统在阿里云部署2套人脸识别服务引擎，当流媒体服务器接收到来自摄像机的流媒体信号后，经转码服务器对流媒体信号进行转码并切片，人脸识别服务引擎按15分钟切片模式对上传到阿里云的视频文件进行非特定用户人脸数据提取与标定，并将分析结果数据存储于云端数据库服务器中。

此环节中，本项目应用的AI人脸识别技术通过超分辨率图像增强及生成对抗网络的超分辨重建方法，能够在10万特征目标库下，小目标识别TOP1精度从65%提升至83%。同时，系统采用基于GPU多核分布式架构的高维特征高性能计算。最后，系统还采用了面向大数据的实时数据仓库系统技术，具备较高的查询检索性能。

2.4 AI人脸识别检索及接口服务

系统在阿里云部署的AI人脸识别应用检索服务器在接到指令后，调用人脸识别服务引擎对待比对目标人脸图片进行特征分析，然后将特征分析数据与数据库服务器中的已标定数据进行快速比对，并将比对成功的数据通过接口服务器来提供人脸识别检索服务。

2.5手机移动客户端用户信号输出

为实现扬州电视台移动客户端APP（简称扬帆）以及各频道、栏目的微信公众平台上扬马跑者人脸识别短视频的检索与呈现，我们以原生代码和HTML5的形式，开发了两套应用访问子系统，实现支持扬帆专用移动客户端、微信实时分享抓取视频，支持命中视频的回看功能，支持事件的评论、讨论、微信社交网分享传播功能。

2.6广播电视融合直播信号输出

我台在广播电视融媒体直播环节中，采用转码服务器将阿里云端的流媒体信号转为SDI信号接入直播台，为导演提供了稳定的准实时5G现场信号。同时，我们将扬马跑者实时AI人脸识别技术的用户呈现导入到直播流程，即在跑者完赛后，安排采访记者在终点处通过手机实时检索跑者AI人脸识别数据并呈现在融媒体直播观众面前，提升了扬州马拉松融媒体直播服务水平，受到广播电视观众的好评。

3系统实施方案及流程

本次项目实施包括部署5G服务基站、调试视频采集编码模块、开发数据交互接口、研发移动端功能模块及在公有云端部署各类服务，具体方案及流程如下。

1. 我台和通讯运营商合作，在扬马路线勘测并部署6个5G服务基站，由扬州电视台部署并调测摄像机信号实时编码及回传。

2. 在云端与合作方共同部署AI人脸识别视频服务系统，包括在阿里云部署2套人脸识别服务引擎、主备流媒体服务器、转码服务器、数据库服务器、接口服务器与应用检索服务器等，同时，我台还独立完成手机平台功能模块的开发。

3. 系统服务流程为：扬马赛程沿线设置6个摄像机位进行赛事摄像，将高清视频画面编码后通过5G终端进行传输，将扬马跑者实时信号视频上传至阿里云服务器，由视频切片服务器按15分钟模式进行切片，同时系统使用专业人脸分析引擎对上传到阿里云的视频文件进行非特定用户人脸数据提取与标定，将特征标定数据存储于云端数据库服务器。赛前我们通过扬马组委会通知扬马赛事跑者本人通过扫码（二维码卡片提前放入参赛包中）录入跑者姓名、头像等个人信息，用作个人视频匹配数据采集；比赛开始后，跑者可采用不同检索方式（人脸、姓名、手机号码、参赛号码等），对个人的视频文件进行检索及点播，云端应用于检索服务器根据数据库生成跑者个人的照片/视频URL链接用于预览，并将该URL链接开放给扬帆服务器及微信，对扬帆用户跑者提供短视频呈现及分发服务。

4. 系统人脸识别视频服务内容主要包括：根据用户自拍或证件照片识别本人赛事视频并具备定点播放、用户注册、智能搜索、分享、用户记录等功能。

其中，我们为扬帆VIP跑团用户提供跑团赛事视频集锦服务，即由AI实时检索出参赛者在赛事全程中出现的画面及镜头，生成时间点数据结果，用户可通过扬帆VIP跑团频道直接对该赛事视频集锦进行点播、分享。

此外，本系统还为扬马融媒体电视直播提供服务，即在赛事开始后，由AI实时检索出扬马直播VIP参赛者在赛事全程中出现的画面及镜头，经下载制作成个性化的赛事视频，在融媒体直播的后半段，记者在扬马终点采访扬马直播VIP参赛者时可通过手机进行点播，突出本次扬马融媒体直播的高科技元素（见图2）。

图 2 移动端融媒体短视频服务展示

4创新点

该项目通过把AI人脸识别等新技术应用到融合传播实践中去，以全新的服务形态满足了广大用户对广播电视定制化、裂变式、融媒化的视频传播的体验需求，项目具有如下创新点：

1. 手段创新

在扬州广电史上，首次利用5G实现了高清电视信号的回传与直播。

2. 形式创新

首次在扬马融合直播中，为跑者提供了基于5G的人脸识别短视频服务，为广大跑者提供了精确定位的个人视频集锦，并通过移动端实现视频内容分享与传播，体现了扬马赛事的高科技亮点。

3. 技术创新

项目从信号采集-5G传输-流媒体信号处理-人脸识别-智能点播-智能分享，全程都是云端自动处理，没有任何人工干预，目前该技术点已在申报相关技术专利。

本次项目实践中也暴露出一些不足之处，比如受制于赛场安保及5G基站等因素，摄像机机位数量不够，拍摄的角度不够理想，画面遮挡现象较为突出，最终导致用户体验还有待进一步完善与提升。

为了在HDR与SDR混合制作时确保往返转换后的SDR信号与未经转换的原SDR信号相同，应尽量避免在往返转换时混合使用场景参考映射与显示参考映射。

如果HDR制作时混合使用HDR摄像机和SDR摄像机，为了保证HDR观感，建议采用场景参考映射上转换将SDR转换为HDR，高清SDR播出时采用对应的场景参考映射下转换将HDR转换为SDR。

如果HDR制作时使用了SDR图文，建议采用显示参考映射上转换进行转换，高清SDR播出也要采用对应的显示参考映射下转换，才能保持SDR图文转换前后效果一致。

5结束语

经过近3个月的紧张测试、研发与部署，在2019年4月21日扬州马拉松赛事中，基于5G的扬马AI人脸识别短视频服务取得了成功。本次活动中，技术系统实现了长达15小时的扬马跑者视频的人脸识别与匹配，共完成视频采集120段、5G实时回传视频量累计1800分钟、形成有效视频段1528个，捕捉人脸总数458万、人脸识别总人次9.2万，成功完成为扬马跑者提供短视频的服务，同时也实现了扬马融合直播的信号稳定，为扬马增添了高科技亮点元素。本项目成功实施后，相关合作方利用本项目的成功经验在临沧马拉松、银川马拉松、济南智慧全媒体开幕式等活动中成功进行了复制，共为近10万人提供了人脸识别视频服务，未来也将在教育培训、媒资检索等领域推广本项目。

参考文献

[1] 徐沛坤, 谢辉, 刘梅, 金涛. AI技术在融合媒体业务中的应用[J]. 广播与电视技术, 2019, Vol.46(9).

[2] 于金良. 人像识别技术在广电网络智慧景区人流统计中的应用[J].广播与电视技术, 2020,Vol.47(1).

[3] 侯玉娟. 基于智慧广电的“5G+4K+AI”技术应用发展研究[J]. 广播与电视技术, 2020,Vol.47(6).

《广播与电视技术》、“广电猎酷”广告经营与商务合作代理：

北京中广信通文化传媒有限公司

联系人：王翠霞

联系电话：13651307963

好文共赏请转发 有话要说请留言