全景分割新标杆—Panoptic SegFormer|panoptic|segformer|将门|尺度

△「ICCV2021 群星闪耀·围炉夜话」活动持续报名中 △

前一段时间的MaskFormer提出可以将分割任务看成是mask预测任务，Panoptic SegFormer可以认为是在MaskFormer的基础上进行改进的。

相比于MaskFormer主要有3两点改进：

1. backbone部分采用PVTv2，并且同时使用backbone的多尺度feature

2. 引入了location decoder，通过辅助的位置预测loss加快收敛

3. 提出mask-wise merge的策略来合并things和stuff

一、Overall architecture

Panoptic SegFormer整体框架如图所示。

先通过backbone抽取多尺度feature，然后送入transformer encoder编码，最后通过location decoder和mask decoder解码。训练阶段，先进行双边匹配得到每个query对应的label，location decoder输出预测位置和尺寸，mask decoder输出预测mask和类别；推理阶段，用mask-wise merge策略对预测结果去重。

下面详细讲一下location decoder、mask decoder和mask-wise merge部分。

Location Decoder

给定N个初始化queries，训练阶段，在location decoder后面添加一个辅助MLP来预测位置和尺寸，location decoder的输出称为location-aware queries；推理阶段，去除辅助MLP。这一个辅助loss，可以帮助网络快速收敛，每个query关注区域指向性更明确。

Mask Decoder

mask decoder将location decoder的输出location-wise queries当作query，和MaskFormer预测mask和类别不同的是，Panoptic SegFormer预测mask需要先将attention map拆分成A3，A4，A5，然后都上采样到H/8xW/8的分辨率，concat在一起得到A_fuse，最后通过1x1卷积得到mask预测结果。

Mask-Wise Merge

之前的分割去重，一般都是使用pixel-wise argmax策略，也就是重叠部分保留预测分数最大的类别。本文提出的mask-wise merge策略，对于重叠部分进行舍弃，上图是伪代码。

二、实验结果

从上表可以看出，Panoptic SegFormer比之前的算法收敛速度更快，效果更好。

可视化对比，Panoptic SegFormer预测结果更加sharp，并且由于mask-wise merge策略，实例之间的边缘更加清晰。

三、总结

之前的全景分割算法如Panoptic FCN和Panoptic-DeepLab都引入了位置辅助预测，在MaskFormer中引入位置预测是很自然的，这有利于query快速关注到合适的位置，帮助模型更好的收敛。

Panoptic SegFormer用了更好的backbone(并且增加了多尺度特征)，更好的位置先验，更好的后处理，Panoptic SegFormer做的相当完整了，全景分割想再进一步提升感觉非常困难了。

Reference

[1] Panoptic SegFormer

Illustrastion by Maria Shukshina from Icons8

-The End-