공돌이 공룡의 서재

A Discriminative Feature Learning Approach for Deep Face Recognition center loss 의 경우 face recognition 뿐 아니라 reid task에도 자주 적용되는 loss function으로, 최신 reID논문들을 이해하는데 필요한 loss 다. 이 함수를 처음 제시한 논문을 읽어보았다. Introduction face recognition task에서 feature는 separable + discriminative 특징이 있어야 한다. →class 간 구분이 잘 되며 특징이 뚜렷한 feature Discriminative 한 feature는 NN이나 k-NN 같은 알고리즘으로 잘 구분이 될 수 있다. 그러나 softmax loss는 f..

1. Introduction 기존에 있는 방법들의 issue들을 언급한다. cumbersome model 좋은 성능을 내기 위해서는 model ensemble 방법을 사용할 수 있으나, 연산량이 많고 시간이 오래 걸린다. side effect of normal training 일반적인 학습은 올바른 답에 대한 평균 확률을 최대화하는 것이 목표다. 이런 방식은 모든 오답에도 확률을 할당한다. 예를 들어서, category로 트럭과 BMW와 당근이 있다고 하고 실제 이미지는 BMW라 하자. 모델이 트럭으로 판단할 확률이 작아도 존재하고, 이 확률은 당근으로 판단할 확률보다는 훨씬 큰 값이다. 이는 모델이 training data만으로 어떻게 일반화를 하는지를 말해준다. 이 Intro에서 말하고자 하는 Kno..

[Stacked Hourglass Networks for Human Pose Estimation] https://arxiv.org/abs/1603.06937 Pose estimation에서 중요하게 다뤄지는 개념인 heatmap을 iterative 한 구조 + scaling을 줄였다 늘였다 하는 구조로 더 정확하게 얻을 수 있는 방법을 소개하고 있다. 새로운 loss function이나 접근법 등에 대한 것보다는 구조 자체에 집중해서 보면 좋을 논문이다. Introduction pose estimation task에서 전반적인 설명을 하고 있다. 요약해서 나열해보면 다음과 같다. person posture, limb articulation 등은 더 높은 수준의 task를 수행할 때 도움이 된다. pose..

XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks https://arxiv.org/pdf/1603.05279.pdf Quantization의 아버지 격 되는 논문이다. 인용수가 3천을 넘어간다. 아이디어 자체는 간단해서 수식적인 부분 외에는 수월하게 읽혔다. Introduction CNN 기반 모델들은 memory나 computational power가 많이 필요하다. 빠른 속도를 내려면 GPU 가 필요하기도 하고, 핸드폰이나 임베디드 전자 제품 같은 작은 기기들에는 적합하지 않다. 논문에서는 이에 대한 예시로 AlexNet과 VGG의 parameter 수와 메모리 크기를 설명하고 있다. 이 논문에서는 이에 대한 해결..

Universal Adversarial Perturbation https://arxiv.org/abs/1610.08401 Adversarial attack. 이미지에 사람은 감지하기 힘든 작은 노이즈를 추가했을 때, 분류기의 성능이 확 낮아지는 것을 말한다. ` 이 논문에서는 딥러닝 모델 전체적으로 또는 데이터셋 전체적으로 적용되며 분류기가 제 기능을 못 하도록 하는 perturbation (감지하기 힘든 작은 노이즈라고 보면 될 듯)을 다룬다. Introduction 이미지에 quasi-imperceptible (감지하기 힘든) perturbation (사전 상 의미는 작은 변화인데, 노이즈 정도로 생각하면 될 듯)을 주었을 때, 신경망이 잘 못 분류할 가능성이 커질 수 있다는 문제를 제시한다. 이런 ..

YOLACT: Real-time Instance Segmentation (ICCV 2019) https://arxiv.org/pdf/1904.02689v2.pdf Real-time instance segmentation에서 top-ranking을 차지하고 있는 모델이다. You Only Look At CoefficienTs의 약자다. 모델의 핵심 내용 중에 coefficient prediction branch가 있다 보니, 이렇게 이름 지은 것 같다. YOLACT를 살펴보고, YOLACT++까지 리뷰해보고자 한다. Introduction mask r-cnn 같은 2-stage 모델들은 성능에 초점이 맞춰져 있어서 real-time으로 적용하기에는 아쉬운 속도다. YOLACT의 목표는 1 stage ins..

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation https://arxiv.org/abs/1612.00593 글을 쓰는 시점에서 인용수가 5천이 넘었다. input으로 point cloud를 직접적으로 다룬 딥러닝 모델이다. 딥러닝 모델에서 point cloud를 다루기 위해서 무엇이 필요한지를 잘 설명하고 있다. Introduction point cloud는 정해진 format이 없기 때문에, 전에 있던 대부분의 연구가 이를 3D voxel grid로 바꾸거나 image들의 집합으로 바꾸고 난 후에 딥러닝 모델에 넣었다. 그러나 이렇게 처리하는 것은 데이터의 natural invariance를 가릴 수 있는 quan..