长江论道|网仕科技曹洁:AI在视频内容生产中的应用探索|ai在视频内容生产中的应用探索|人工智能|曹洁|网仕科技|视频生成模型|语音识别

2024年5月23-24日，由流媒体网主办，湖北长江云新媒体集团、湖北电信、湖北移动、湖北联通协办的「长江论道暨第27届智能视听与科技创新产业论坛」在武汉隆重举行。

本届论道以“洞见新格局·智变新视听”为主题，聚焦大屏格局之变，寻找视听向新路径。

在23日举行的“IPTV价值论坛”上，上海网仕科技有限公司副总经理曹洁做了主题为《AI在视频内容生产中的应用探索》的演讲。

以下为演讲全文：

尊敬的各位领导、同行，女士们、先生们：

大家好！很荣幸能在这里向各位分享我今天的主题——AI在视频内容生产中的应用探索。

我重点分享AI在5个内容生产方向上的应用：AI拆条、AI 审核、AI标签、AI感知编码、AI 超分。

AI拆条

随着科技的飞速发展，人工智能已经成为了我们生活中不可或缺的一部分。在这个信息爆炸的时代，如何从海量视频中提取有价值的信息，成为了摆在我们面前的一道难题。而AI智能拆条机制正是解决这一问题的有效途径。在接下来的演讲中，我们将详细探讨AI智能拆条机制的原理、应用场景以及未来发展趋势。希望通过这次分享，能够帮助大家更好地理解和应用AI技术，赋能视频内容生产制作。

首先，我们来了解一下什么是AI智能拆条。简单来说，它是指利用人工智能技术对长文本进行自动拆解和整理的过程。这种技术在信息处理和知识管理领域中起着重要的作用。通过智能拆条，我们可以更快速、准确地提取视频中的有效信息，提高工作效率。

在过去的几十年中，随着多媒体时代的到来，人们对海量视频信息的获取和处理需求日益增加。为了更好地应对这个挑战，研究人员开始将注意力集中在如何高效地从视频中提取信息上。随着AI的讯猛发展，AI智能拆条技术应运而生。经过不断的发展和完善，如今的AI智能拆条技术已经取得了显著的成就。

让我们来看一下AI智能拆条目前主要应用的领域。

在新闻媒体行业中，AI智能拆条可以帮助记者们更迅速地从大量报道中提取重要信息，为新闻稿的撰写提供便利，更加实时、及时地发布热点。此外，在学术研究领域，智能拆条可以用于整理文献资料和提取关键信息，提高研究者的工作效率。此外，金融、法律等行业也广泛应用了AI智能拆条技术，以实现更高效的数据处理和管理。

在娱乐领域，该技术被广泛用于电影和电视剧的剪辑工作，它能快速精准地提取精彩片段和一键缩编，从而极大地提高了工作效率。

教育领域中也能看到AI智能拆条的影子，通过该技术的助力，教师能够更加高效地筛选出重点知识点，为学生提供更为针对性的学习资源。

AI智能拆条的关键技术有人脸识别、语音识别、OCR识别、转场识别技术、视频数据的结构化分析、语义关系构建与分析等。

语音识别主要包括特征提取、模型训练。

OCR识别是通过分析和解码图像上的文本数据，将图片转化为可编辑的文本信息的技术。

转场和场景识别技术为AI智能拆条提供了关键的基础支持。通过强大的转场和场景识别能力，AI智能拆条能够自动识别视频中的不同场景和转场，并实现精准的拆解。这将大大简化视频处理过程，提高工作效率，并为后续的视频编辑和应用打下坚实的基础。

视频数据的结构化分析是基于深度学习技术，通过大量的数据训练模型，实现了对视频、音频等多媒体内容的自动拆解。这一过程涉及到的深度学习技术，包括卷积神经网络（CNN）、循环神经网络（RNN）和自编码器等。通过这些复杂的算法，模型能够理解并识别出视频和音频中的关键信息，并将其拆分为可独立处理的部分。

我们可以通过这些技术提取视频中的关键帧、场景、人物等元素，为后续的特征分析提供坚实的基础。如利用计算机视觉技术从视频中提取出颜色、纹理、形状等视觉特征，同时结合语义信息，如物体类别、动作等，进行特征选择。这一步骤将极大地提高我们的模型的泛化能力。最后，我们将对提取出的特征进行降维处理，去除冗余信息，保留关键特征。然后通过嵌入技术，将特征转换为低维向量表示，这将极大地便于我们对数据进行处理和模型的训练。通过结构化解析、特征提取与选择以及特征降维与表示三个关键环节，为我们的研究工作打下坚实的基础。

AI智能拆条的工作流程是如何进行的？

首先，我们来看数据输入与预处理。在开始任何处理之前，原始的视频或音频数据必须被输入到系统中去，然后进行预处理，包括格式转换、噪声消除等一系列步骤，确保数据的质量和可用性。接下来是特征提取与分析环节。在这一阶段，我们将使用先进的算法和模型从预处理后的数据中提取关键特征。这些特征可能包括音高、节奏、音色等等，并进行深入的分析和理解。这是AI智能拆条能够理解和识别视频或音频内容的关键环节。最后，我们进入自动拆分与优化阶段。基于前面提取的特征和深度分析的结果，AI智能拆条系统能自动将内容进行拆分，生成多个独立的片段。同时，针对每个生成的片段，系统会进一步优化其内容和结构，以满足用户对于短视频的需求和预期。至此，我们已经详细地了解了AI智能拆条的结构化处理流程。这个过程不仅体现了人工智能技术的强大能力，也是我们追求更高效、个性化服务的重要体现。

语义关系构建与分析， AI智能拆条的第一步便是通过算法识别出视频中各个片段的语义关系，以此理解片段之间的逻辑联系。接着，AI会在识别出语义关系后，进一步计算各片段之间的关联度，以便更精确地确定哪些片段应该被合并或拆分。最后，经过不断的学习和优化，AI能够更准确地理解和处理复杂的语义关系，使得智能拆条的结果更加符合人类的观看习惯和理解方式。这就是我们今天讨论的主题——语义关系的构建与分析。

我们基于浏览器实现了完整的视频云生产平台，整个平台朝着轻量化，智能化的目标开发实现，所谓的轻量化就是完全基于浏览器的云架构，所有的视频生产用户都可以在浏览器中完成，其中包含有多个模块，包括离线转码，直播转码、云媒资、云导播、云编辑、云轮播、云监控、云拆条等等，在云化的基础上我们用AI赋能，使得视频生产更加的智能化，今天我要给大家着重介绍的就是智能云折条。

我们可以看到在浏览器中打开云拆条模块就可以快速地实时地预览频道内容，并且可以在多个频道中轻松切换，实时录制，实时预览，实时完成AI分析，我们看图中所指的实时智能时间轴，上面已经实时展示了AI分析结果，编辑一眼就能快速定位。

新闻类频道其中夹杂着许多广告，如果没有AI辅助，编辑人员往往要完整地快速浏览整个时间轴才能找到节目的出入点，并且要卡到关键帧，这比较费时费力。但AI时间轴就已经完整地展现了节目片断。

如何利用AI生成的智能时间轴标识来快速切片？我们可以看下方的时间轴，编辑只需要在时间轴上双击即生成切片，也就是一键生成切片，切片的出入点自动标记，之后编辑直接点预览按钮进行切片预览。

关于AI智能拆条在新闻编辑与制作中的应用。首先是在新闻编辑中，通过应用AI智能拆条技术，我们可以迅速提取出新闻的关键信息。这一过程不仅大大提升了编辑工作的效率，还确保了新闻的准确性，让新闻内容更具针对性和价值。其次，在新闻制作过程中，AI智能拆条同样发挥了重要作用。它可以帮助我们的新闻制作人员快速整理和分析大量信息，从而提升新闻的质量与深度。这样我们能够制作出更丰富、更深入的新闻报道，为观众提供更全面的视角。再者，AI智能拆条技术在新闻播报中也有着不可忽视的作用。基于这项技术，我们的新闻实现了自动播报，这无疑极大地提高了新闻的传播速度和覆盖范围。这种自动化的播报方式不仅节省了大量的人力物力，同时也让我们能够更快地将新闻信息传递给公众。以上就是AI智能拆条在新闻编辑和制作中的一些主要应用情况。在未来的工作中，我相信这项技术的更多潜力将会得到进一步挖掘和应用。

在影视后期制作中的应用。首先，是AI智能拆条在剪辑中的应用。利用AI智能拆条技术，能快速且准确地从原始视频中提取出关键片段，从而极大地提高了影视后期制作的效率。它通过精准的算法，使得剪辑人员可以更高效地处理和编辑大量的视频素材。其次，AI智能拆条对于特效制作的贡献也不容忽视。这项技术能自动识别并提取视频中的特定元素，如人物、物品等，为特效制作提供了丰富的素材。这使得我们在进行电影特效制作时，能够更加精细且生动地展现出我们想要展现的场景和效果。最后，是AI智能拆条在音频处理中的应用。除了处理视频外，AI智能拆条还可以处理音频。例如，它可以自动识别并提取背景音乐、对话等音频元素，为音频后期制作带来了极大的便利。这样我们就可以更好地完成声音设计和音效处理的工作，提升影片的整体质量。

在教育内容制作中的应用。在当前的信息化时代，AI技术为教育带来了许多新的可能性。其中一个显著的应用就是通过AI智能拆条来助力教育内容创新。首先，AI智能拆条可以将复杂的教育内容拆分为易于理解的小片段。这样的方式有助于提高学生的学习兴趣和效率。传统的教育模式往往以冗长的课程内容为主，而学生在学习过程中可能难以集中注意力或掌握重点。通过将内容拆解为小片段，学生可以更加轻松地理解和消化知识。同时，这种碎片化的学习方式也符合现代社会快节奏的特点，使学生可以在繁忙的日程中进行高效学习。其次，AI智能拆条还支持个性化教育内容的制作与分发。根据学生的需求和水平，AI可以生成定制化的教育内容，实现个性化教学。每个学生的学习能力和兴趣都有所不同，而传统的统一教学内容可能无法满足每个学生的个性化需求。通过AI智能拆条，我们可以针对不同的学生制定适合他们的学习计划和教材，使每个学生都能够在适合自己的学习环境中取得更好的效果。最后，AI智能拆条还能够对教育内容进行智能分析和优化提升。通过对内容的智能分析，AI能够发现其中的优缺点，并提供相应的改进建议。这样可以帮助教师们不断优化和提升内容质量，以满足学生日益增长的学习需求。随着科技的进步和社会的发展，学生们对于教育内容的要求也在不断提高，而AI智能拆条正是一种能够满足这种需求的创新工具。总而言之，AI智能拆条在教育内容制作中的应用具有重要的意义。它能够拆分复杂的内容、实现个性化教育和提高内容质量，为现代教育带来许多优势。相信在不久的将来，AI技术将在教育领域发挥越来越重要的作用。

AI审核

基于敏感信息知识图谱，敏感人物分类及样本库，成熟的审核标准，图像要素AI识别，全屏文字OCR提取，语音识别等先进技术，对政治敏感、涉暴、涉黄、广告等风险内容进行审核，支持文字、图像、音频、视频等各种内容形式，满足用户多种业务场景的需求。