本期为TechBeat人工智能社区第700期线上Talk。

北京时间7月16日(周三)20:00，美国北卡罗来纳大学教堂山分校博士生夏鹏的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是:“MMed-RAG：针对医学多模态大模型的通用多模态RAG系统”，届时他将分享一种通用多模态RAG系统——MMed-RAG。相关工作已入选ICLR 2025。

Talk·信息

主题：MMed-RAG - 针对医学多模态大模型的通用多模态RAG系统

嘉宾：美国北卡罗来纳大学教堂山分校 · 博士生 - 夏鹏

时间：北京时间7月16日(周三)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

医学大模型虽强但易出现事实幻觉，影响诊断可靠性。我们提出MMed-RAG，一种通用多模态RAG系统，通过引入领域感知检索机制、自适应检索上下文选择方法以及针对RAG的偏好微调策略，显著地提升了模型表现。实验显示在五个医学任务中平均提升43.8%的事实准确率。

Talk大纲

1. 研究背景与动机

医疗AI的发展趋势 Med-LVLMs的优势与挑战（如事实幻觉）

RAG作为解决方案的优势与不足

2. MMed-RAG系统设计

系统整体架构

领域感知检索机制

自适应上下文选择策略

基于RAG的偏好微调方法

3. 实验与结果分析

与现有模型或方法的对比（VQA与报告生成）

多领域数据集测试（放射学、眼科、病理）

消融实验与分析

4. 总结与未来方向

当前方法的贡献

未来发展

Talk·预习资料

论文链接： https://arxiv.org/abs/2410.13085 代码链接： https://github.com/richard-peng-xia/MMed-RAG


Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

夏鹏‍‍‍‍‍‍‍‍‍‍‍

美国北卡罗来纳大学教堂山分校 · 博士生‍‍‍

夏鹏现为美国北卡罗来纳大学教堂山分校计算机学院博士生。此前，他曾短暂在澳大利亚墨尔本莫纳什大学攻读博士学位。他的研究方向为多模态大模型，智能体以及医疗健康上的应用。目前已经在NeurIPS、ICLR、ICML、EMNLP等会议和期刊发表多篇论文，曾获得ICLR 2025 Oral。他长期担任顶级会议和期刊的审稿人，例如 ICLR、NeurIPS、ICML、International Journal of Computer Vision (IJCV), IEEE Transactions on Medical Imaging (TMI)。

个人主页: https://www.techbeat.net/grzytrkj?id=23380 ‍‍‍‍

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk