공돌이 공룡의 서재

NIPS 2017 1. Introduction Knowledge distillation 에 대한 연구들이 많이 진행되어 왔지만, 대부분이 Image Classification에 대해 적용되어 왔다. 그렇다면 다른 Task를 수행하는 모델들에 적용할 수 있을까? 논문 저자들은 Multi-Class Object Detection task에 대해 거의 처음으로 성공했다고 한다. 왜 Object detection 에 적용하기가 좀 더 힘들까? 내용을 정리하면 다음과 같다. Detectition은 bounding box 좌표도 구해야 하고, box 내 물체가 어떤 물체인지 classification도 해야한다. 즉, 더 복잡한 task라 볼 수 있고 Image classification 보다 많은 연산량을 필요로..

1. Introduction 기존에 있는 방법들의 issue들을 언급한다. cumbersome model 좋은 성능을 내기 위해서는 model ensemble 방법을 사용할 수 있으나, 연산량이 많고 시간이 오래 걸린다. side effect of normal training 일반적인 학습은 올바른 답에 대한 평균 확률을 최대화하는 것이 목표다. 이런 방식은 모든 오답에도 확률을 할당한다. 예를 들어서, category로 트럭과 BMW와 당근이 있다고 하고 실제 이미지는 BMW라 하자. 모델이 트럭으로 판단할 확률이 작아도 존재하고, 이 확률은 당근으로 판단할 확률보다는 훨씬 큰 값이다. 이는 모델이 training data만으로 어떻게 일반화를 하는지를 말해준다. 이 Intro에서 말하고자 하는 Kno..