공돌이 공룡의 서재

CBAM: Convolutional Block Attention Module https://arxiv.org/abs/1807.06521 KAIST 연구실에서 나온 논문이다. 글을 쓰는 시점에 인용수가 2천을 넘어섰다. 멋있고 부럽다. 무튼 이 논문은 아직 ViT처럼 Transformer에 vision분야에서 쓰이기 전이다. attention을 어떤 의미로 해석할 수 있는지, pooling 연산은 어떻게 해석할 수 있는지, 등에 대해 잘 알 수 있는 논문이다. CNN operation에 대한 깊은 이해가 있으면, 논문을 더 잘 읽을 수 있을 것 같다. 여기 참고 [1] Introduction 지금까지 나왔던 CNN-base 모델들을 언급하며, 중요한 요소 몇 가지에 대해 설명하고 있다. 1) Depth: ..

배경 이전에 자연어 처리에서 사용했던 모델들은 recurrent model을 사용한다. 이 모델은 병렬 처리를 사용할 수 없어서 속도가 느리다는 단점이 있었고, 거리가 먼 단어들에 대해서 학습시키기 어려운 단점이 있었다. 이에 대한 해결책으로 거리에 상관없이 단어들의 의존성을 학습시킬 수 있도록 Attention 이 고안되었다. 그러나 Attention 또한 recurrent model과 같이 쓰이므로 어느 정도 한계를 보였다. 이런 배경 속에서, Recurrent model을 쓰지 않고 Attention만 사용하며, 병렬 처리도 가능한 Transformer가 개발되었다. 글을 쓰는 시점에서 인용수가 17000을 넘는다. 이후 나올 BERT, GPT, XLNet, 등의 뿌리가 되는 논문이라서 매우 중요한..