CVPR 2022 | 基于跨域相关性蒸馏的域自适应无监督夜间语义分割方法

为了解决夜间语义分割中存在的这些问题，目前通常采用域适应方法，使在白天场景的图像上训练的模型能够适应夜间的图像，在不使用夜间图像标签的前提下实现更好的分割性能。这些方法可大致分为两类：一类通过预训练图像风格转换网络，对白天或夜间的图像进行风格转换生成合成数据集；一类是利用傍晚场景作为中间域，逐步实现从白天到夜间的域适应。

前种方法没有充分利用语义分割任务中的语义特征，并且会额外增加任务的运算时间，而后种方法需要额外的训练数据。并且这两类方法大多没有考虑到不同数据集之间的内容分布差异，即相机参数或城市风格等导致的域偏移。

因此本文针对的主要问题是，如何在源域与目标域之间存在复杂的域偏移时，在不影响任务计算时间和不依靠额外的傍晚数据的前提下，实现更有利于任务目标的风格转换，最终达到更好的夜间语义分割性能。

本文的主要贡献总结如下：

·对于低照度语义分割，提出了一种端到端的无监督域适应框架 CCDistill，它既不需要额外的数据，也不需要风格转移网络，因此不会影响语义分割网络的推理时间。

·提出了跨域相关性蒸馏算法，该算法利用域偏移的不变性分别对内容和风格表征进行知识蒸馏，使得域自适应的过程免受复杂的域偏移所带来的不利影响。

CCDistill的整体网络框架如图1所示，网络框架主要由四部分组成：语义分割网络如RefineNet，project head，跨域内容蒸馏（CDC）和跨域风格蒸馏（CDS）。

图1 CCDistill的整体框架

本文共设置了四个域，分别是 Cityscapes (daytime), Cityscapes (synthetic nighttime), Dark Zurich (daytime) and Dark Zurich (nighttime), 对应Sd, Sn, Td, Tn。

照明度差异主要反映在图像的style上，而数据集间的固有内容分布差异会主要反映在图像的content上。因此,如果能提取出特征中的内容和风格表征，计算来自不同域之间的内容或风格表征之间的相似程度，就可以此相似程度反应这两个域的照明度差异或内容分布差异的偏移程度。

如何提取content和style表征

Content:

以project head将处于不同特征空间的特征映射到common space中，然后再用JS散度约束分布。使得具有同种语义内容的两个特征分布趋于一致，而不同语义内容的特征分布保持一定距离，从而得到内容表征e。

Style：

提取风格表征时，利用的是style transfer领域中常用到的Gram矩阵，能够反应不同滤波器之间的响应程度，以此表示当前域的风格。

接下来的问题是，在域自适应中同时有两种域偏移,要怎样同时适应两个差异，或者说如何在避免另外一种差异的影响时，只对一种域偏移作域自适应。为了解决这一问题，本文中提出了跨域相关性蒸馏算法。

跨域相关性蒸馏

在构建多源域多目标域的框架时，Sn表示由Cityscapes生成的夜间图像。其遵循的原则是，使得Sn具有Sd的内容和Tn的照明度风格.这样Sd与Sn在照明度上的差异的程度和Td与Tn的照明度差异一致，同时Sd与Td在内容分布上的差异和Sn与Tn在内容分布上的差异一致。利用这样的跨域差异一致性，能够在避免另外一种偏移影响的同时，对当前域偏移做域适应,实现知识蒸馏。

而Sn的生成不是以风格转换网络实现，而是利用LAB颜色空间中的均值和方差做简单的色调映射，以此作为预处理，初步实现整体的风格转换，随后利用提出的跨域风格蒸馏（CDS）实现语义级别的风格对齐。

本文以余弦相似度计算内容或风格表征之间的差异程度，以此作为域偏移的具体表示：

另外在CDC中，额外利用到了在不同风格的图像中，其语义信息保持不变的特性。

提取到差异程度后，再进行同种差异的对齐，利用域偏移的一致性，实现知识蒸馏和语义级别的风格转换：

总结来看，本文以CDC做内容知识的蒸馏，以CDS实现语义级别的风格转换。其中CDC利用的是内容分布差异的不变性，而CDS利用的是照明度差异的不变性。

对比其他模型：

Dark Zurich的结果

本文方法超过了现有低照度语义分割方法，mIoU 提升约 3.2%。除此之外，在地面、人行道和道路等所有大规模类别中都具有较好的表现。

其他数据集的结果

本文通过跨域差异的不变性提出了一种用于低照度语义分割的无监督域适应框架。验证了正确处理这两种域转移的有效性，即照明度和数据集间内容分布的固有差异。提出的跨域内容和风格蒸馏，通过提取特征中包含的内容和风格知识，利用跨域的内在和照明度差异的不变性，同时实现知识蒸馏和语义级风格转换。