打开网易新闻 查看精彩图片

本期为TechBeat人工智能社区728线上Talk。

北京时间11月20日(周四) 20:00,新加坡国立大学博士生祝泽宇的Talk将准时在TechBeat人工智能社区开播!

他与大家分享的主题是:攻克长文档与多模态挑战,Paper2Video实现学术视频的自动化生产。届时他将介绍Paper2Video基准对学术展示视频进行评价,并提出一个多智能图框架 PaperTalker,为实现自动化和可用的学术视频生成迈出切实可行的一步。

Talk·信息

主题:攻克长文档与多模态挑战,Paper2Video实现学术视频的自动化生产

嘉宾:新加坡国立大学 · 博士生 - 祝泽宇

时间:北京时间11月20日(周四) 20:00

地点:TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

学术展示视频作为科研交流的重要媒介,制作过程仍高度依赖人工,需要反复进行幻灯片设计、逐页录制和后期剪辑,往往需要数小时才能产出几分钟的视频,效率低下且成本高昂,这凸显了推动学术展示视频自动化生成的必要性。

然而,与自然视频生成不同(如 Sora2、Veo3 等扩散模型),学术展示视频面临以下独特挑战:

1. 长文档与高密度输入 (Multi-modal Long-context Input): 来源于完整学术论文,包含大段专业文本、复杂公式、多幅图表,远超自然视频的输入复杂度。

2. 多模态通道的协同生成 (Coordination of Multiple Aligned Channels): 需要同时生成并对齐幻灯片、字幕、语音、光标轨迹与讲者视频,保证多模态之间的语义一致性与时序同步。

3. 缺乏专门的评价标准 (Lacks Well-defined Evaluation Metrics): 现有视频生成指标主要关注画面质量或风格一致性,难以衡量学术展示视频在知识传递、受众理解与学术可用性上的效果。

因此,现有自然视频生成模型和简单的幻灯片 + 语音拼接方法难以胜任,亟需一个系统化的基准和方法来推动自动化、可用的学术视频生成。

为了解决以上挑战,本次工作提出了 Paper2Video 基准对学术展示视频进行评价,并提出一个多智能图框架 PaperTalker,为实现自动化和可用的学术视频生成迈出切实可行的一步。

Talk大纲

1. 研究动机 - 自动化和可用的学术视频生成

2. 相关工作 - AI for Science

3. Paper2Video - Benchmark

4. PaperTalker - Method

5. 实验

6. 结论

Talk·预习资料

打开网易新闻 查看精彩图片

论文链接: https://arxiv.org/abs/2510.05096 代码链接: https://github.com/showlab/Paper2Video 项目主页: https://showlab.github.io/Paper2Video/

Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call和问题,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

打开网易新闻 查看精彩图片

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍

打开网易新闻 查看精彩图片

祝泽宇‍‍‍‍‍‍‍‍‍‍‍

新加坡国立大学 · 博士生
‍‍‍

祝泽宇是新加坡国立大学Show Lab的二年级博士研究生,本科毕业于西安交通大学钱学森班。研究方向是视频生成与基于代理的人工智能系统的交叉领域。

他致力于开发能够自主创作视频的智能系统,将人类从繁琐的工作中解放出来,并赋予他们可视化创意的能力。

研究方向以及代表工作:

• 视频生成代理:Paper2Video、MovieAgent

• 以人为中心的视频生成:Multi-human Interactive Talking Dataset

个人主页: https://www.techbeat.net/grzytrkj?id=45894 ‍‍‍‍

-The End-

打开网易新闻 查看精彩图片

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择!

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>

预约本期Talk