공돌이 공룡의 서재

Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes https://arxiv.org/pdf/2101.06085v1.pdf Real-time segmentation에서 SOTA를 차지하고 있는 논문이다. 최근에 하고 있는 프로젝트에서, real-time으로 segmentation을 돌리면 좋을 것 같아서 적절한 모델을 찾아보던 중에 공부하게 되었다. 모델 구성이나 개념적으로 SOTA임에도 크게 어렵지는 않았다. Introduction 이전 논문들의 흐름이나, real-time segmentation이 왜 필요한지에 대한 자세한 내용은 생략하겠다. 핵심은 Real-time으로 segmentat..

Expressive Body Capture: 3D Hands, Face, and Body from a Single Image https://arxiv.org/abs/1904.05866?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+arxiv%2FQSXk+%28ExcitingAds%21+cs+updates+on+arXiv.org%29 [1] Introduction 사람의 행동을 더 잘 이해하기 위해선, 사람의 major keypoint들을 estimation 하는 것으로는 충분하지 않고, 몸, 손, 얼굴의 3D surface 정보들까지 포함해야 할 필요가 있다. 그런데 적절한 3D model과 3D training data가 충분하지 않아서, 이렇..

이번에 알아볼 ICP 알고리즘은 바로 전에 작성한 글 ICP point to point 방법과는 달리 normal vector를 사용한 방법이다. 구현한 논문은 다음과 같다. https://www.comp.nus.edu.sg/~lowkl/publications/lowk_point-to-plane_icp_techrep.pdf 수식적으로 복잡한 부분이 많아서 과정을 코드와 함께 살펴보고자 한다. M은 최적화하고자 하는 4x4 transformation 식이다. s는 source point cloud의 각 점에 해당하고, d는 destination point cloud의 각 점에 해당한다. n은 d에서 normal vector다. normal vector라 하면 그 점의 접면에 수직인 벡터를 의미한다. 그러면..

ICP: Iterative Closest Point 이 알고리즘은 두 개의 point cloud가 주어졌을 때, corresponding point 사이의 거리를 계산하여, 이 거리를 최소화하는 Transformation matrix을 찾는 알고리즘이다. 이 알고리즘을 공부하게 된 계기는 depth camera에서 reconstructed 된 point 들을 통해 camera간 pose를 계산하기 위함이었다. corresponding point를 찾는 알고리즘은 KDTree 등 여러 알고리즘이 있지만, 이건 다음에 살펴보고, 여기선 corresponding point들이 주어졌다는 가정하에 ICP 알고리즘에 대해서만 알아보겠다. 크게 point-to-point 방법과 point-to-plane 방법이 있..

You Only Look Once: Unified, Real-Time Object Detection https://arxiv.org/abs/1506.02640 2015년에 나와서 Real-time object detection에서 한 획을 그은 논문이다. 지금은 YoLo v4까지 나온 걸로 알고 있다. v5는 공식 논문이 없다고 한다. EfficientDet까지 다루기 전에 Mask R-CNN이나 다른 YOLO 시리즈도 다뤄보고자 한다. 개인적으로 YOLO에서는 모델 구조보다는 loss metric과 1 stage detection이 어떻게 가능한지가 특히 눈여겨볼 점이라고 생각한다. Introduction 사람이 이미지를 인식할 때 어떻게 이뤄지는 서두에 언급하고 있다. 우리는 이미지를 한 번만에 보자..

CBAM: Convolutional Block Attention Module https://arxiv.org/abs/1807.06521 KAIST 연구실에서 나온 논문이다. 글을 쓰는 시점에 인용수가 2천을 넘어섰다. 멋있고 부럽다. 무튼 이 논문은 아직 ViT처럼 Transformer에 vision분야에서 쓰이기 전이다. attention을 어떤 의미로 해석할 수 있는지, pooling 연산은 어떻게 해석할 수 있는지, 등에 대해 잘 알 수 있는 논문이다. CNN operation에 대한 깊은 이해가 있으면, 논문을 더 잘 읽을 수 있을 것 같다. 여기 참고 [1] Introduction 지금까지 나왔던 CNN-base 모델들을 언급하며, 중요한 요소 몇 가지에 대해 설명하고 있다. 1) Depth: ..

End-to-End Object Detection with Transformers https://arxiv.org/abs/2005.12872 Transformer를 시작으로 Vision에 적용한 큼지막한 논문들에 대한 리뷰를 하는 중인데, Object detection을 transformer로 해결한 모델에 대해 소개하는 논문이다. 대략적으로 아 이렇구나 수준으로는 쉽게 읽은 논문인데, 자세하게 파악하자니 상당히 어려웠다... Introduction 기존에 있던 Faster R-CNN 기반 detection 모델들의 한계를 지적하고 있다. 모델 구조가 Indirect prediction이라서 end-to-end 한 방법이 아니다. 또한 Hand-design 한 요소들이 도입되었는데, 그 예로 anchor..