【2023年2月28日】论文分享

帮少

论文类别有bubble segmentation（气泡分割）、语义分割、 Image Super-Resolution （图像超分辨率）、遥感图像分割、检测、分类等。
【2023年2月27日】论文分享

▌Soft labelling for semantic segmentation: Bringing coherence to label down-sampling



论文作者：Roberto Alcover-Couso,Marcos Escudero-Vinolo,Juan C. SanMiguel
论文链接：http://arxiv.org/abs/2302.13961v1
内容简介： 在语义分割中，由于资源受限、适应模型输入的图像大小或改善数据增强，通常进行训练数据下采样。然而，由于图像数据和标注标签之间存在差异，这种下采样通常采用不同的策略，从而导致下采样像素和标签之间的不匹配。因此，当下采样因子增加时，训练性能显著降低。为了解决这个问题，本文提出一种软标签方法，用于标签下采样，利用结构内容先验在下采样之前提取更多的语义信息。这个方法可以完全对齐软标签和图像数据，保持采样像素的分布，同时为被低估的语义类别提供更丰富的标注。实验表明，该方法优于其他下采样策略。此外，参考基准测试取得了最先进的性能，但比其他方法需要更少的计算资源。这个方法可以在资源受限的情况下实现语义分割的有竞争力的研究。








▌Self Correspondence Distillation for End-to-End Weakly-Supervised Semantic Segmentation



论文作者：Rongtao Xu,Changwei Wang,Jiaxi Sun,Shibiao Xu,Weiliang Meng,Xiaopeng Zhang
论文链接：http://arxiv.org/abs/2302.13765v1
项目链接： https://github.com/Rongtao-Xu/RepresentationLearning/tree/main/SCD-AAAI2023
内容简介： 研究方向：弱监督语义分割（研究方向：Weakly supervised semantic segmentation）。本文提出一个简单而新颖的“自对应蒸馏”（Self Correspondence Distillation，SCD）方法，以改善当前的端到端弱监督语义分割方法中存在的问题。通过利用自身的特征对应作为蒸馏目标，SCD可以提高网络的特征学习过程，并补充语义信息，从而优化伪标签。为了进一步提高分割准确性，本文设计一个“Variation-aware Refine Module”来增强伪标签的局部一致性。最后，提出一个高效的端到端基于Transformer的框架（TSCD）通过SCD和Variation-aware Refine Module 来完成准确的弱监督语义分割任务。实验结果表明，本文方法在PASCAL VOC 2012和MS COCO 2014数据集上显著优于其他最先进的方法。本文代码可在 https://github.com/Rongtao-Xu/RepresentationLearning/tree/main/SCD-AAAI2023 找到。














▌Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution



论文作者：Long Sun,Jiangxin Dong,Jinhui Tang,Jinshan Pan
论文链接：http://arxiv.org/abs/2302.13800v1
项目链接： https://github.com/sunny2109/SAFMN
内容简介： 研究方向：超分辨率（Image Super-Resolution）。本文提出一个简单而有效的深度网络来高效地解决图像超分辨率问题，以解决现有的图像超分辨率方法在许多计算和存储限制的低功耗设备上的不兼容问题。该方法使用一种基于ViT的空间自适应特征调制（SAFM）机制，在输入特征上动态选择代表性特征表示，并引入卷积通道混合器（CCM）以同时提取局部上下文信息和执行通道混合。实验结果表明，该方法在网络参数方面比现有最先进的高效SR方法IMDN小三倍，在实现可比性性能的同时，需要更少的计算成本。代码可在 https://github.com/sunny2109/SAFMN 找到。














▌PaRK-Detect: Towards Efficient Multi-Task Satellite Imagery Road Extraction via Patch-Wise Keypoints Detection



论文作者：Shenwei Xie,Wanfeng Zheng,Zhenglin Xian,Junli Yang,Chuang Zhang,Ming Wu
论文链接：http://arxiv.org/abs/2302.13263v1
项目链接： https://bmvc2022.mpi-inf.mpg.de/381/
内容简介： 自动从卫星图像中提取道路是遥感领域中一项基础而具有挑战性的计算机视觉任务。本文介绍两种主要的方法：基于像素级别的语义分割方法和基于图形的方法。然而，以前的工作表明，基于语义分割的方法会产生低连接性的道路图，而基于迭代探索范式和更小的感受野的图形方法更加关注局部信息，并且也比较耗时。因此，本文提出一种新的多任务卫星图像道路提取方案，即“PaRK-Detect”。该方案基于D-LinkNet架构，并采用关键点检测的结构，通过预测基于补丁的道路关键点的位置和它们之间的邻接关系，构建道路图。同时，多任务框架也执行像素级别的语义分割，并生成道路分割掩码。在DeepGlobe、Massachusetts 和RoadTracer数据集上对该方法进行评估，并取得了竞争性或更好的结果。还展示了推理速度方面的相当优异表现。








▌UAVSNet: An Encoder-Decoder Architecture based UAV Image Segmentation Network



论文作者：Satyawant Kumar,Abhishek Kumar,Dong-Gyu Lee
论文链接：http://arxiv.org/abs/2302.13084v1
内容简介： 研究方向：航空影像分割。本文提出一种无人机图像语义分割的方法：UAVSNet，它是一种基于transformer的编码器-解码器框架，利用了多尺度特征表示的优势。该网络结合了自注意力和卷积机制，在捕捉全局和局部上下文细节方面具有优势，有助于精确捕捉航拍图像的内在特征并生成具有语义丰富的特征表示。同时，该网络采用重叠标记嵌入（OTE）模块生成多尺度特征，解码器网络进一步使用多尺度特征融合策略处理这些特征，增强了网络的特征表示能力。该方法在UAVid和Urban drone数据集上的mIoU分别为64.35％和74.64％，实验结果表明了所提出网络的有效性。
















▌A Light-weight Deep Learning Model for Remote Sensing Image Classification



论文作者：Lam Pham,Cam Le,Dat Ngo,Anh Nguyen,Jasmin Lampert,Alexander Schindler,Ian McLoughlin
论文链接：http://arxiv.org/abs/2302.13028v1
内容简介： 研究方向：遥感图像分类。本文提出一个高性能、轻量化的深度学习模型，用于遥感图像分类任务，即识别遥感图像中的航空场景。首先，评估了各种基准卷积神经网络（CNN）架构：MobileNet V1/V2、ResNet 50/151V2、InceptionV3/InceptionResNetV2、EfficientNet B0/B7、DenseNet 121/201、ConNeXt Tiny/Large。然后，选出表现最佳的模型，在师生模型中进行知识蒸馏，以实现高性能和显著降低复杂度。通过在NWPU-RESISC45基准测试上进行大量实验，所提出的师生模型优于现有的最先进系统，并有潜力应用于各种边缘设备。






▌Learning to Super-Resolve Blurry Images with Events



论文作者：Lei Yu,Bishan Wang,Xiang Zhang,Haijian Zhang,Wen Yang,Jianzhuang Liu,Gui-Song Xia
论文链接：http://arxiv.org/abs/2302.13766v1
项目链接： https://github.com/ShinyWang33/eSL-Net-Plusplus
内容简介： 研究方向：超分辨率（Super-Resolution）。本文提出一个利用事件传感器的单一运动模糊图像（SRB）超分辨率算法，通过一个基于事件增强的稀疏学习网络（eSL-Net++）生成高分辨率（HR）的清晰图像序列。为了解决SRB问题，本文提出一个事件增强的降质模型，考虑低空间分辨率、运动模糊和事件噪声。同时，利用双重稀疏学习方案对事件和强度帧进行稀疏建模，提出一个事件增强的稀疏学习网络（eSL-Net++）。此外，通过event shuffle-and-merge 方案，将单帧SRB扩展到序列帧SRB，无需任何额外的训练过程。实验结果表明，所提出的eSL-Net++算法在合成和真实世界数据集上均优于当前最先进的方法。
















▌LSR: A Light-Weight Super-Resolution Method



论文作者：Wei Wang,Xuejing Lei,Yueru Chen,Ming-Sui Lee,C. -C. Jay Kuo
论文链接：http://arxiv.org/abs/2302.13596v1
内容简介： 研究方向：超分辨率（Super-resolution）。本文提出一种针对移动应用的轻量级超分辨率（LSR）方法。LSR使用自监督框架预测插值低分辨率（ILR）和高分辨率（HR）图像之间的残差图像。为了降低计算复杂度，LSR不采用端到端优化的深度网络，它由三个模块组成：1）通过无监督学习在目标像素周围生成丰富多样的表示池；2）通过有监督学习自动选择最相关于超分辨率任务的表示池子集；3）通过回归预测目标像素的残差。LSR具有低计算复杂度和合理的模型大小，因此可以方便地在移动/边缘平台上实现。此外，与经典的基于示例的方法相比，它在PSNR/SSIM指标方面提供更好的视觉质量。






▌CDPMSR: Conditional Diffusion Probabilistic Models for Single Image Super-Resolution



论文作者：Axi Niu,Kang Zhang,Trung X. Pham,Jinqiu Sun,Yu Zhu,In So Kweon,Yanning Zhang
论文链接：http://arxiv.org/abs/2302.12831v1
内容简介： 研究方向：超分辨率。为了进一步提高性能并简化当前基于DPM的超分辨率方法，本文提出一个简单但不复杂的基于DPM的超分辨率后处理框架，cDPMSR。在将预先训练好的SR模型应用于将要测试的LR图像以提供条件输入后，作者调整了标准的DPM以进行条件图像的生成，并通过确定性的迭代去噪过程进行超分辨率。所提出方法在定性和定量结果上都超过了先前的尝试，并能通过各种基准数据集（包括Set5、Set14、Urban100、BSD100和Manga109）为低分辨率图像生成更逼真的对像。






▌LMSeg: Language-guided Multi-dataset Segmentation



论文作者：Qiang Zhou,Yuang Liu,Chaohui Yu,Jingliang Li,Zhibin Wang,Fan Wang
论文链接：http://arxiv.org/abs/2302.13495v1
内容简介： 该研究旨在构建一个通用且包容性的分割模型，能够在不同场景中识别更多的类别。作者提出了一种名为LMSeg的可扩展的语言引导多数据集分割框架，支持语义和全景分割。研究中存在两个主要问题：（1）不一致的分类体系需要手动协调以构建统一的分类体系；（2）不灵活的独热通用分类体系导致了耗时的模型重新训练和未标记类别的监督不足。作者通过引入预训练的文本编码器将类别名称映射到文本嵌入空间作为统一的分类体系，而不是使用不灵活的独热标签。该模型动态地将分割查询与类别嵌入对齐，而不是使用统一分类体系重新标记每个数据集。此外，作者采用了数据集感知增强策略，为每个数据集分配特定的图像增强流水线，以适应来自不同数据集的图像特性。大量实验表明，该方法在四个语义和三个全景分割数据集上取得了显著的改进，并通过消融研究评估了每个组件的有效性。











▌An Efficient Instance Segmentation Approach for Extracting Fission Gas Bubbles on U-10Zr Annular Fuel



论文作者：Shoukun Sun,Fei Xu,Lu Cai,Daniele Salvato,Fidelma Dilemma,Luca Capriotti,Min Xian,Tiankai Yao
论文链接：http://arxiv.org/abs/2302.12833v1
内容简介： 本文提出一个高效bubble segmentation（气泡分割）的混合框架。并开发一个bubble annotation工具，生成了第一个fission gas bubble数据集，其中有来自24张图像的3000多个bubble。然后设计一个整合了U-Net和ResNet的多任务深度学习网络来完成实例级的气泡分割。结合分割结果和图像处理步骤，在非常有限的标注数据下实现了超过90%的最佳召回率。与之前提出的阈值方法相比，该模型显示出突出的改进。所提出的方法有希望对U-10Zr环形燃料上的裂变气体气泡产生更准确的定量分析。这些结果将有助于识别含有镧系元素的气泡，并最终建立U-10Zr环形燃料的热分级和镧系元素运动之间的关系。此外，该深度学习模型也适用于其他类似的材料微观结构分割任务。