【论文笔记】对CBAM的简单理解

CBAM模型结构

CBAM是一种mixed attention机制模块,是结合了空间(spatial)和通道(channel)的注意力机制模块。相比于仅关注一方面的attention机制模块,CBAM能两方兼顾,获得更好的效果。

image-20210821121258651

image-20210821121426301

根据论文给出的模型以及实验所获得的数据,我们可以看出CBAM模型中,先通过channel,再通过spatial,会获得更好的准确率和更低的错误率。

Channel Attention模块

image-20210821121735665

在通道注意力模块中,通过将输入的特征图分别经过最大池化以及平均池化,然后输入到共享全连接层(shared MLP)中。再将共享全连接层输出的特种进行寄语elementwise的加和操作,经过sigmoid激活,最终即可获得通道注意力模块的特征图。

通道注意力机制(Channel Attention Module)是将特征图在空间维度上进行压缩,得到一个一维矢量后再进行操作。通道注意力关注的是这张图上哪些内容是有重要作用的。平均值池化对特征图上的每一个像素点都有反馈;而最大值池化在进行梯度反向传播计算时,只有特征图中响应最大的地方有梯度的反馈。

Spatial Attention模块

image-20210821122602417

在空间注意力模块中,是将通道注意力模块输出的特征图作为输入。首先做一个基于channel的最大池化和平均池化,然后将两层进行concat操作。然后进行卷积,降为1个channel,再经sigmoid获得空间注意力模块输出的特征图。

空间注意力机制(Spatial Attention Module)是对通道进行压缩,在通道维度分别进行了平均值池化和最大值池化。最大池化的操作就是在通道上提取最大值,提取的次数是H × W;平均池化的操作就是在通道上提取平均值,提取的次数也是是H × W;从而可以获得一个2通道的特征图。

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注