图像处理注意力机制Attention汇总（附代码）

莫尽

有的模块加上去未必有效

孔三皮

是的，返回的是错误率。补充一点就是像CBAM这类带空间注意力的，因为图像分辨率的原因，它们在cifar数据集上的表现都不会很好，仔细看CBAM的论文你会发现，其实他们都没有比较在cifar上做的实验。如果在cifar数据集上跑，需要把卷积核改为3，其他也是同理的。

老六九弓长众

你好，我是个刚入门的学生。我想问一下，这个代码中的model可以作为一个模块直接移植嘛？没有冒犯的意思，因为水平原因，从零开始我可能写不出完整的能运行的代码。

王全立聊全体育

注意力都是可以即插即用的。只是针对不同位置，不同模型，不同插入位置作用效果也会不一样。

笑的人生

好的，谢谢。我再去研究一下。

顾庆元

楼主，我引用一些到论文里[爱]

汉北集团

注意力不加白不加

简迷离

作者总结的太好了，从原理上解释的很明白，也给我很大的启发，在做多输入的时候被卡的像个傻子0.0，因为不能确定多输入的特征是不是都有效，但是图像本身对人来说是有特征的，也是有干扰的，人可以分辨，但是电脑不行，电脑真的分不出来，直接把干扰当特征了，而且这些特征因为图像本身的特性，没法去掉，所以就想如果能在图像上加一个mask会不会好点，正好，混合域，一个看图像，保特征，一个看通道，保多输入，我去试一试，看能不能解决这个问题

亲爱鱼宝

[谢邀][谢邀]

葛颂

请问自注意力、局部注意力、全局注意力有什么区别吗？
基于query, key, value的注意力是不是天生就比SE, CBAM, SK, ECA这种注意力推理速度方面弱呢？