TransUNet：用于医学图像分割的Transformers强大编码器

一路错到对

同时具有Transformers和U-Net的优点，性能优于AttnUNet、V-Net等网络，代码刚刚开源！（按这样搞，TransVNet、TransYOLO应该也快来了，手动狗头）
注1：文末附【Transformer】和【医疗影像】交流群
注2：整理不易，欢迎点赞，支持分享！
TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation

作者单位：JHU, 电子科大, 斯坦福大学等
代码：Beckschen/TransUNet
论文：https://arxiv.org/abs/2102.04306

医学图像分割是开发医疗保健系统（尤其是疾病诊断和治疗计划）的必要先决条件。在各种医学图像分割任务中，U形架构（也称为U-Net）已成为事实上的标准，并取得了巨大的成功。但是，由于卷积运算的固有局部性，U-Net通常在明确建模远程依赖关系方面显示出局限性。
设计用于序列到序列预测的transformer已经成为具有先天性全局自注意力机制的替代体系结构，但由于low-level细节不足，可能导致定位能力受到限制。
在本文中，我们提出了TransUNet，它同时具有Transformers和U-Net的优点，是医学图像分割的强大替代方案。


一方面，Transformer将来自卷积神经网络（CNN）特征图的标记化图像块编码为提取全局上下文的输入序列。另一方面，解码器对编码的特征进行上采样，然后将其与高分辨率的CNN特征图组合以实现精确的定位。
我们认为，借助U-Net的组合，通过恢复局部的空间信息，可以将Transformers用作医学图像分割任务的强大编码器。
算法细节，建议去看原文






实验结果

TransUNet在各种医疗应用（包括多器官分割和心脏分割）上均比各种竞争方法具有更高的性能。






CVer-Transformer交流群

建了CVer-Transformer交流群！想要进Transformer学习交流群的同学，可以直接加微信号：CVer6666。加的时候备注一下：Transformer+学校+昵称，即可。然后就可以拉你进群了。
强烈推荐大家关注CVer知乎账号和CVer微信公众号，可以快速了解到最新优质的CV论文。
CVer-医疗影像交流群

已建立CVer-医疗影像微信交流群！想要进医疗影像学习交流群的同学，可以直接加微信号：CVer9999。加的时候备注一下：医疗影像+学校+昵称，即可。然后就可以拉你进群了。
强烈推荐大家关注CVer知乎账号和CVer微信公众号，可以快速了解到最新优质的CV论文。
推荐阅读

TransReID：首个基于Transformer的目标Re-ID
泛化神器！李沐等人提出两种正则化技术：在CV和NLP均有大幅度提升
沈春华团队提出：使用条件卷积的实例和全景分割
中国成都举办！ACM MM 2021 Call for Papers
效果远超Transformer！AAAI 2021最佳论文Informer：最强最快的序列预测神器
深度学习理论的最新进展
DeepMind重新设计高性能ResNet！无需激活归一化层
VisualSparta：首个基于Transformer的大规模文本到图像检索
南京大学提出SA-Net：深度卷积神经网络的Shuffle注意力
CV待解决问题！华中科大提出OVIS：遮挡视频实例分割（数据集+代码）
VTN：视频Transformer网络
基于深度学习的图像检索最新综述：全面调研
T2T-ViT：在ImageNet上从头训练视觉Transformer
深度学习中的3个秘密：集成，知识蒸馏和蒸馏
国防科大提出CHPDet：任意方向的船舶检测
84.7％！BoTNet：视觉识别的Bottleneck Transformers
港中文提出ResLT：用于长尾识别的残差学习
没有卷积！CPTR：用于图像描述的全Transformer网络
华为诺亚提出：AdderNet及其极简硬件设计
龙泉寺贤超法师：用AI为古籍经书识别、断句、翻译
北邮提出PCA-Net：用于细粒度视觉分类的渐进式协同注意力网络
SSTVOS：基于稀疏时空Transformers的视频目标分割网络
南加大和Intel提出：基于注意力的图像上采样
攻下SLAM！用于无监督视觉里程表的Transformer引导几何模型
没有自然图像的预训练 | ACCV 2020 最佳论文提名奖
基于深度学习的行人重识别(Re-ID)综述：全面调研（2015-2020）
2020年最先进的3D医学图像分割方法
Focal-EIOU Loss：用于精确边界框回归的高效IOU损失
旷视提出Momentum^2 Teacher：用于自监督学习的具有动量统计的动量老师
计算机视觉中的Transformer
医学图像语义分割最佳方法的全面比较：U-Net和U-Net++
生成对抗U-Net：实现Domain-free医学图像增广
80GB 医学影像数据集发布！OCTA-500公开下载
RepVGG：使VGG样式的ConvNets再次出色
涨点神器！SoftPool：一种新的池化方法，带你起飞，代码已开源！
又一篇视觉Transformer综述来了！
深度神经网络中的池化方法：全面调研（1989-2020）
涨点神器！IC-Conv：具有高效空洞搜索的Inception卷积
一文快速回顾U-Net Family
冠军解决方案！用于脑肿瘤分割的nnU-Net改进

欧钱

可真行

董孝财

绝了

谢卫东

论文里没有参数对比吗？

奥斯卡垂钓园

作者阵容好像很强大。。

光灿

论文中的对比实验貌似没有在参数量相近的情况下进行比较...

程超

12层trans 参数量肯定爆炸 比较好奇，医学影像数据集这么小 怎么从头训练transformer?

自由撰稿人丶牵手

这个网络还是处理二维图像，vit和restnet初始化用的在imagenet上预训练的权重

还是算了吧

受教了[干杯]

新城市猎人

3维图像，显卡肝得动吗