CVPR 2019口头报告背后的秘密揭开无监督域适应语义分割的神秘面纱
CVPR 2019口头报告：揭秘无监督域适应语义分割的神奇算法
百度研究院与华中科技大学合作，携手悉尼科技大学，一项革命性的论文《Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》在顶级学术会议CVPR 2019上荣获Oral讲座。该研究提出了一种从虚拟场景到现实世界的无监督语义分割方法，以极低的人工标注成本实现高精度的图像理解。
这篇论文为雷锋网AI科技评论提供了深入解读。文章开篇介绍了深度学习语义分割领域的一大挑战——数据标注成本高昂。在游戏引擎等虚拟环境下，可以轻松生成大量数据，但这些数据和真实世界中的场景差异巨大，导致模型在实际应用时效果不佳。
传统解决方案是加入域判别器（Discriminator），通过对抗训练减少源域和目标域之间分布差异。但现实情况表明，这种方法虽然降低了全局特征分布差异，却忽视了不同类别间特征分布一致性问题，可能造成负迁移，即原本正确分类的目标域特征被错误地映射到其他类别上。
为了解决这个问题，本文提出了Category-Level Adversarial Network (CLAN)，一种结合联合训练思想、互斥分类器设计和加权对抗损失机制的新算法。这一网络结构通过两个互斥分类器评估目标域特征是否达到局部语义对齐，并根据预测结果调整全局对齐策略，从而有效避免负迁移并提升整体性能。
实验结果显示，无论是在GTA5至Cityscapes还是SYNTHIA至Cityscapes任务中，本文提出的CLAN都能够达到或超过当前最佳性能，更特别地，在处理一些不常见类别时表现尤为出色。此外，通过T-SNE可视化分析，我们发现有些类别原本就具有良好的语义一致性，而传统方法反而会破坏这种关系，而CLAN则能更好地保护这一点。
总结来说，《Taking A Closer Look at Domain Shift》是一项重大突破，为无监督领域自适应语义分割提供了一套有效且灵活的解决方案，其应用前景广阔，如自动驾驶技术等领域将受益匪浅。
