Talk预告 | 德克萨斯大学奥斯汀分校、埃因霍温理工大学刘世伟：51x51大卷积网络|分校|博士后|埃因霍温理工大学|大学|奥斯汀|德克萨斯

本期为TechBeat人工智能社区第436期线上Talk。

北京时间9月1日(周四)20:00，德克萨斯大学奥斯汀分校、埃因霍温理工大学计算机博士后——刘世伟的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “51x51大卷积网络”，届时将介绍Sparse Large Kernel Network (SLaK)，这是一种配备 51×51 kernel-size的纯 CNN 架构，其性能可以与最先进的分层 Transformer (Swin Transformer, CSwin) 和现代 ConvNet 架构（如 ConvNeXt 和 RepLKNet），关于 ImageNet 分类以及典型的下游任务。

Talk·信息

主题：51x51大卷积网络

嘉宾：德克萨斯大学奥斯汀分校、埃因霍温理工大学

计算机博士后刘世伟

时间：北京时间9月1日 (周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

自从Vision Transformers (ViT) 出现以来，Transformers迅速在计算机视觉领域大放异彩。卷积神经网络 (CNN) 的主导作用似乎受到越来越有效的基于Transformer的模型的挑战。最近，一些先进的卷积模型使用受局部大注意力机制驱动设计了大Kernel的卷积模块进行反击，并显示出吸引人的性能和效率。其中之一，即 RepLKNet，以改进的性能成功地将Kernel-size扩展到 31×31，但与 Swin Transformer 等高级 ViT 的扩展趋势相比，随着Kernel-size的持续增长，性能开始饱和。在本文中，我们探索了训练大于 31×31 的极端卷积的可能性，并测试是否可以通过策略性地扩大卷积来消除性能差距。这项研究最终得到了一个从稀疏性的角度应用超大kernel的方法，它可以平滑地将kernel扩展到 51×51，并具有更好的性能。基于这个方法，我们提出了Sparse Large Kernel Network (SLaK)，这是一种配备 51×51 kernel-size的纯 CNN 架构，其性能可以与最先进的分层 Transformer (Swin Transformer, CSwin) 和现代 ConvNet 架构（如 ConvNeXt 和 RepLKNet），关于 ImageNet 分类以及典型的下游任务。

具体分享提纲如下：

1. 回顾现有的大卷积网络和探索更大卷积对性能提升的可能性

2. 提出一套可以把卷积核增大到51x51的训练方法

3. 构建SLaK模型及展示其在图像分类和下游任务上的高性能

Talk·提问交流

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题，或扫描下方二维码提问！

♫. ♪ ~ ♬..♩~ ♫. ♪..♩~ ♫. ♪ ~ ♬..♩..♩~ ♫. ♪ ~ ♬..♩..♩~ ♫. ♪ ~ ♬..♩

快来提问啦！

Talk·嘉宾介绍

刘世伟

德克萨斯大学奥斯汀分校、埃因霍温理工大学计算机博士后

刘世伟目前在德克萨斯大学奥斯汀分校和埃因霍温理工大学担任博士后职位。2015 年毕业于哈尔滨工业大学（深圳），2018年加入荷兰埃因霍温理工攻读博士学位并于2022年获得博士学位（distinguished thesis）。博士期间主要从事稀疏神经网络的研究。博士期间发表一作论文在ICML，NeurIPS，ICLR，ECML等会议。

个人主页：

https://shiweiliuiiiiiii.github.io/

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！