Half-UNet:用于医学图像分割的简化U-Net架构

计算机学科你都不参加

Half-UNet简化了编码器和解码器，还使用了Ghost模块(GhostNet)。并重新设计的体系结构，把通道数进行统一。
论文动机

编码器的不同类型的架构图，编码器(A-C)的结构分别来源于U-Net的编码器、解码器和全的Unet结构。


下面是上图的一些结果指标


将U-Net 的编码器和解码器都视为编码器。 通过设计单个解码器来聚合 C1 到 C16 的特征，其结构与 UNet 3+ 中的全尺寸特征聚合相同。编码器（A）可以达到与编码器（C）相当的性能，而编码器（B）的性能明显下降。也就是说U-Net的解码器（图中的B部分）是可以被简化的并且不影响性能。
Half-UNet

1、统一通道数


上图说明了如何在UNet3+的第三解码器层中构造全尺寸聚合特征映射。
在U-Net和UNet 3+的每一个下采样步骤中，特征通道的数量都增加了一倍，增强了特征表达的多样性。 但是这增加了模型的复杂性。 在 Half-UNet 中，所有特征图的通道数是统一的，也就是减少了卷积运算中的过滤器数量。
2、全尺寸特征融合


U-Net和UNet 3+都使用串联操作进行特征融合，这需要更多的内存和计算量。而加法操作不需要额外的参数和计算复杂度。将不同比例尺的特征图上采样到原始图像的大小，然后通过加操作进行特征融合。
从上图可以看到，他只用了unet的编码器部分，也就是一半的unet，所以这就是Half-UNet的由来
3、Ghost 模块


与标准卷积相比，Half-UNet 使用 Ghost 模块来减少所需的参数和 FLOP。与 GhostNet 中一样，Ghost 模块使用廉价操作的同时生成更多的特征图。
使用 s=2，其中 s 表示固有特征图比例的倒数。一半的特征图由卷积生成，另一半由深度可分离卷积生成。最后将特征图的两部分连接起来形成输出。
结果

论文使用3个数据集


定量结果


Half-UNet†：删除 Half-UNet 中的 Ghost 模块，在乳房 X 光图像方面优于 U-Net 及其变体，在肺结节图像方面比 Half-UNet 更接近U-Net。 Half-UNet† 在左心室 MRI 图像方面的表现不如 Half-UNet。
与U-Net及其变体相比，Half-UNet(有无Ghost模块)具有相似的分割精度，而参数和flop分别降低了98.6%和81.8%。
Half-UNet†u 和 Half-UNet †d 的通道数在下采样后翻倍。解码器中的特征融合有两种策略：
1、Upsampling2D + 3×3 convolution，Half-UNet†u和UNet 3+是这样做的；
2、反卷积，也就是Half-UNet†_d和U-Net所做的。
可以看到Half-UNet†u和Half-UNet†d与Half-UNet†相比，增加了所需的flop和参数。
定性结果


Half-UNet、U-Net 和 UNet 3+ 在左心室 MRI 中的定性比较。 Half-UNet 可以更完整地分割心内膜和心外膜边界。
进一步的研究


在Half-UNet子网络的左侧，由于双线性上采样和加法都是线性运算，因此几乎不产生参数和计算。在Half-UNet子网络的右侧部分，由于输入通道数量较少(只有64个)，并且使用了Ghost模块，卷积的代价明显小于其他结构。


Half-UNet避免了上述三种网络的问题，大大降低了所需的参数和FLOPs。
总结

根据论文表述U-Net 在医学图像分割中的成功主要归功于其分而治之的解决方案，而不是特征融合。 所以作者提出了Half-UNet，简化了特征融合部分。
根据我个人的理解，Half-UNet 除了大大减少了参数和FLOPs以外，应该会在分割界限不尖锐的情况表现的比unet更好。
论文地址：Half-UNet: A Simplified U-Net Architecture for Medical Image Segmentation
https://doi.org/10.3389/fninf.2022.911679

温志翔

分而治之怎么理解呢

对影成双

就是多尺度吧[doge]

馀生不喜不悲

应该[飙泪笑]

飛翔意大利

最终TRT模型部署，相比Naive UNet推理速度能提升多少呢？