本期为TechBeat人工智能社区第698期线上Talk。

北京时间7月9日(周三)20:00，法国国家信息自动化研究所博士生康祉祺的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是:“MISA - 如何又好又快地让模型持续学习到复杂的新知识”，届时他将分享MISA 方法：一方面利用预训练数据增强 prompt 参数的初始化质量与泛化能力；另一方面引入一个简单而有效的掩码机制，缓解分类头的遗忘问题，从而显著提升模型在该场景下的整体表现。

Talk·信息

主题：MISA - 如何又好又快地让模型持续学习到复杂的新知识

嘉宾：法国国家信息自动化研究所 · 博士生 - 康祉祺

时间：北京时间7月9日(周三)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

我们着眼于解决通用持续学习的场景，目标是让模型能够在线适应动态变化的数据分布，实现知识的快速更新与扩展。这一场景同时带来了初始化、泛化性和遗忘控制等多重挑战，使现有方法难以有效应对。

基于对 prompt-based 方法的深入分析，我们提出了 MISA 方法：一方面利用预训练数据增强 prompt 参数的初始化质量与泛化能力；另一方面引入一个简单而有效的掩码机制，缓解分类头的遗忘问题，从而显著提升模型在该场景下的整体表现。

实验结果表明，MISA 方法不仅在多个基准数据集上取得优异效果，还能灵活迁移并增强现有方法，为持续学习中的分布变化与遗忘问题提供了新的解决思路。

Talk大纲

1. 背景：什么是持续学习？什么是通用持续学习？持续学习里的经典方法有哪些？什么是Prompt-based方法？

2. 动机与问题：通用持续学习带来的复杂挑战：初始化、泛化性、遗忘的复合问题，使得现有方法始终表现不佳。

3. 解决方法：提出针对性的设计，通过使用预训练数据来有效提升prompt参数的初始化和泛化能力，以及一个简单有效的掩码降低模型分类头的遗忘

4. 总结：预训练阶段也是持续学习的一个阶段，我们希望能在这里挖掘更多潜能来提升模型持续学习的能力

Talk·预习资料

论文链接： https://arxiv.org/abs/2106.01548

论文链接： https://arxiv.org/abs/2003.13947

论文链接： https://arxiv.org/abs/2006.06958

论文链接： https://arxiv.org/abs/2104.05025

论文链接： https://arxiv.org/abs/2104.07446

论文链接： https://arxiv.org/abs/2308.09303

论文链接： https://arxiv.org/abs/2208.09734

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

康祉祺‍‍‍‍‍‍‍‍‍‍‍

法国国家信息自动化研究所 · 博士生‍‍‍

康祉祺，目前是法国国家信息自动化研究所 (Inria) 的博士生。他的研究重点是视觉以及多模态模型的知识增长和持续学习。他在ICCV, IJCV, ICLR, ICASSP上以第一作者身份发表多篇文章，其中2023年提出的NNCSL方法被评为ICCV oral presentation。他曾在meta，Toyota Motor Europe等公司有过实习、工作经历。

个人主页: https://www.techbeat.net/grzytrkj?id=45167 ‍‍‍‍

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk