本期为TechBeat人工智能社区第728期线上Talk。
北京时间11月20日(周四) 20:00,新加坡国立大学博士生祝泽宇的Talk将准时在TechBeat人工智能社区开播!
他与大家分享的主题是:攻克长文档与多模态挑战,Paper2Video实现学术视频的自动化生产。届时他将介绍Paper2Video基准对学术展示视频进行评价,并提出一个多智能图框架 PaperTalker,为实现自动化和可用的学术视频生成迈出切实可行的一步。
Talk·信息
主题:攻克长文档与多模态挑战,Paper2Video实现学术视频的自动化生产
时间:北京时间11月20日(周四) 20:00
地点:TechBeat人工智能社区
http://www.techbeat.net/
Talk·介绍
学术展示视频作为科研交流的重要媒介,制作过程仍高度依赖人工,需要反复进行幻灯片设计、逐页录制和后期剪辑,往往需要数小时才能产出几分钟的视频,效率低下且成本高昂,这凸显了推动学术展示视频自动化生成的必要性。
然而,与自然视频生成不同(如 Sora2、Veo3 等扩散模型),学术展示视频面临以下独特挑战:
1. 长文档与高密度输入 (Multi-modal Long-context Input): 来源于完整学术论文,包含大段专业文本、复杂公式、多幅图表,远超自然视频的输入复杂度。
2. 多模态通道的协同生成 (Coordination of Multiple Aligned Channels): 需要同时生成并对齐幻灯片、字幕、语音、光标轨迹与讲者视频,保证多模态之间的语义一致性与时序同步。
3. 缺乏专门的评价标准 (Lacks Well-defined Evaluation Metrics): 现有视频生成指标主要关注画面质量或风格一致性,难以衡量学术展示视频在知识传递、受众理解与学术可用性上的效果。
因此,现有自然视频生成模型和简单的幻灯片 + 语音拼接方法难以胜任,亟需一个系统化的基准和方法来推动自动化、可用的学术视频生成。
为了解决以上挑战,本次工作提出了 Paper2Video 基准对学术展示视频进行评价,并提出一个多智能图框架 PaperTalker,为实现自动化和可用的学术视频生成迈出切实可行的一步。
Talk大纲
1. 研究动机 - 自动化和可用的学术视频生成
2. 相关工作 - AI for Science
3. Paper2Video - Benchmark
4. PaperTalker - Method
5. 实验
6. 结论
Talk·预习资料
论文链接: https://arxiv.org/abs/2510.05096 代码链接: https://github.com/showlab/Paper2Video 项目主页: https://showlab.github.io/Paper2Video/
Talk·提问交流
在Talk界面下的【交流区】参与互动!留下你的打call和问题,和更多小伙伴们共同讨论,被讲者直接翻牌解答!
你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!
Talk·嘉宾介绍
祝泽宇
新加坡国立大学 · 博士生
祝泽宇是新加坡国立大学Show Lab的二年级博士研究生,本科毕业于西安交通大学钱学森班。研究方向是视频生成与基于代理的人工智能系统的交叉领域。
他致力于开发能够自主创作视频的智能系统,将人类从繁琐的工作中解放出来,并赋予他们可视化创意的能力。
研究方向以及代表工作:
• 视频生成代理:Paper2Video、MovieAgent
• 以人为中心的视频生成:Multi-human Interactive Talking Dataset
个人主页: https://www.techbeat.net/grzytrkj?id=45894
-The End-
如果你也想成为讲者
自荐 / 推荐
单人Talk | 团队专场 | 录播or直播 | 闭门交流
多种方式任你选择!
推荐讲者成功也有奖励哦~
关于TechBeat人工智能社区
TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!
更多详细介绍>>
预约本期Talk
热门跟贴