공돌이 공룡의 서재

GAN 연구에서 한 획을 그은 논문이 아닐까... A Style-Based Generator Architecture for Generative Adversarial Networks 1. Introduction GAN에 관한 많은 연구에도 불구하고, 기존 연구들은 generator에는 black box로 작동하고, stochastic feature와 같은 요소가 이미지 합성 과정에서 어떻게 이뤄지는지에 대한 이해가 부족하다. 또한 latent space의 특징에 대해서도 이해가 저조하다. style transfer 관점에서 이미지 합성 방식을 제어하는 새로운 generator 구조를 제안한다. noise와 latent space를 어떻게 다루는지가 자세히 나와있고, discriminator나 loss fu..

Introduction 사용할 수 있는 3D Face data 가 많지 않다는 것이 문제다. 그래서 이전 연구들은 surrogate shape label 과 같은 고전적인 방법들로 맞춰진 3D shape 이나 합성 데이터를 사용하는 방식을 택했다. 이 방식의 문제는 Domain gap 이 남아있다는 점이랑 label 이 완벽하지 않다는 점이다. 이런 이슈를 해결하기 위해서 라벨 없이 unsupervised 또는 weakly supervised 방식을 사용하는 연구들이 많이 나왔다. 이 연구들의 핵심은 미분 가능한 이미지를 형성하는 것인데, 얼굴 이미지를 네트워크의 예측 결과를 이용해서 렌더링하기 때문에 가능하다. 또한 입력 이미지와 렌더링된 이미지의 차이를 supervision (weakly 인듯) 으로..

3D Face Reconstruction 에서 최근에 등장하여 3DMM 모델과 함께 많이 쓰이고 있다. 사실 FLAME 을 이용해서 어떻게 Reconstruction 을 할지가 더 중요하긴한데, 그래도 한번 살펴보자. 💡 FLAME = Faces Learned with an Articulated Model and Expressions : use 33000 scans : combines linear shape space with an articulated jaw, neck, and eyeballs, pose-dependent corrective blendshapes, and additional global expression blendshapes : low-dimensional but more expres..

Introduction 기존의 SOTA MOT 방법들은 low confidence detection box를 제거하기 위해 detection box 로 인한 true positive / false positive 문제를 다뤘다. →threshold를 기준으로 detection box 를 제거하다보니 생기는 true positive / false positive 문제를 다뤄야만 했다. FairMOT만 봐도, 0.5 가 넘는 box만 선택해서 사용한다. 이 논문의 요지는 과연 기존 방식대로 low confidence detection box를 지우는 것은 옳은 접근일까? 에서 시작된다. 저자들은 그렇지 않다라는 입장에서 문제에 접근하고 있다. → low confidence detection box도 obje..

1. DeepSORT 이전에 올린 글에서, SORT 는 결국 motion 을 기반으로 tracking 하는 방식이라고 설명했다. Kalman Filter 와 IOU cost 만을 사용하기 때문이다. 따라서 두 Track 이 겹칠 때에도 이 2가지만 사용하기 때문에, 생김새가 다름에도 불구하고 ID 가 바뀌는 경우가 빈번히 일어난다. 이 배경에서 등장한 것이 DeepSORT 이다. SORT 과정 앞에 Appearance 를 기준으로 1차 matching 을 한 다음, 여기서 matching 이 안 되는 Track 과 Detection box 들에 대해 SORT 방식으로 진행한다. 즉, Motion-based Tracker 인 SORT에 Appearance-based Tracker 가 추가된 것이다. Flo..

1. Multiple Object Tracking (MOT) Overview Object Tracking? 비디오 또는 스트리밍 형태로 연속적인 프레임들이 주어질 때, 물체를 추적(Track)하는 Task다. Multiple Object Tracking 과 Visual Tracking 이렇게 크게 2 분류로 나뉜다. 전자는 bounding box를 이용하여 여러 객체들을 추적하는 것인 반면, 후자는 하나의 객체만 추적하는데, 대신에 instance segmentation처럼 mask 까지 예측하면서 추적한다. 이 글에서는 MOT의 기본적인 내용들에 대해 자세히 풀어보겠다. MOT Overview 모델의 구조는 일반적으로 Detector 와 Tracker 이렇게 2가지로 구성한다. Detector 는 흔히..

NIPS 2017 1. Introduction Knowledge distillation 에 대한 연구들이 많이 진행되어 왔지만, 대부분이 Image Classification에 대해 적용되어 왔다. 그렇다면 다른 Task를 수행하는 모델들에 적용할 수 있을까? 논문 저자들은 Multi-Class Object Detection task에 대해 거의 처음으로 성공했다고 한다. 왜 Object detection 에 적용하기가 좀 더 힘들까? 내용을 정리하면 다음과 같다. Detectition은 bounding box 좌표도 구해야 하고, box 내 물체가 어떤 물체인지 classification도 해야한다. 즉, 더 복잡한 task라 볼 수 있고 Image classification 보다 많은 연산량을 필요로..