공돌이 공룡의 서재

NIPS 2017 1. Introduction Knowledge distillation 에 대한 연구들이 많이 진행되어 왔지만, 대부분이 Image Classification에 대해 적용되어 왔다. 그렇다면 다른 Task를 수행하는 모델들에 적용할 수 있을까? 논문 저자들은 Multi-Class Object Detection task에 대해 거의 처음으로 성공했다고 한다. 왜 Object detection 에 적용하기가 좀 더 힘들까? 내용을 정리하면 다음과 같다. Detectition은 bounding box 좌표도 구해야 하고, box 내 물체가 어떤 물체인지 classification도 해야한다. 즉, 더 복잡한 task라 볼 수 있고 Image classification 보다 많은 연산량을 필요로..

1. Introduction 기존에 있는 방법들의 issue들을 언급한다. cumbersome model 좋은 성능을 내기 위해서는 model ensemble 방법을 사용할 수 있으나, 연산량이 많고 시간이 오래 걸린다. side effect of normal training 일반적인 학습은 올바른 답에 대한 평균 확률을 최대화하는 것이 목표다. 이런 방식은 모든 오답에도 확률을 할당한다. 예를 들어서, category로 트럭과 BMW와 당근이 있다고 하고 실제 이미지는 BMW라 하자. 모델이 트럭으로 판단할 확률이 작아도 존재하고, 이 확률은 당근으로 판단할 확률보다는 훨씬 큰 값이다. 이는 모델이 training data만으로 어떻게 일반화를 하는지를 말해준다. 이 Intro에서 말하고자 하는 Kno..

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows https://arxiv.org/abs/2103.14030 [1] Introduction Transformer는 NLP에서는 좋은 성능을 갖지만, Visual domain에 적용할 때 왜 어려운가?로 시작하고 있다. 이에 대한 원인으로 2가지를 제시하고 있다. scale : NLP에서는 word token을 사용하고, 크기가 고정적이지만, visual element는 스케일에 따라 다양하다. 다양하게 될 때 문제는 attention을 적용할 때 문제가 생긴다는 점이다. 기존 transformer 기반 모델들은 고정적인 크기로 가정하기 때문이다. high resolution : ..

* CS231N 5장 강의안과 다른 논문들을 공부하면서 알게 된 내용들을 바탕으로 정리하였습니다. 현재 컴퓨터 비전에서 CNN을 이용한 모델들이 압도적이다. 최근에서야 Vision Transformer를 시작으로, Convolution을 쓰지 않는 모델들이 나오기 시작했지만 여전히 state-of-art 모델들 대부분이 CNN 기반으로 이루어져 있다. 그렇다면 이미지에 대해 처리를 할 때 왜 Convolution 연산이 효과적인지, 한계가 있다면 무엇인지 자세히 다뤄보고자 한다. VS Fully Connected layer (=FC layer) 다음과 같은 크기의 이미지가 있다고 생각해보자. depth는 channel 과 비슷한 의미로 쓰이는데, 인풋 이미지의 경우 grayscale 인 경우와 RGB 인..

퍼셉트론을 tensorflow, keras, 또는 torch를 사용하지 않고 구현하려면 forwarding과 back propagation, activation function 등이 어떻게 이뤄지고 구성되어 있는지를 정확히 알고 있어야 한다. 수학을 공부할 때 모르는 개념이 있다면 증명을 한 번 해보듯이, 입문하는 분들이라면 해볼 만한 과제라고 생각한다. 딥러닝 모델 구현은 크게 다음과 같은 부분으로 나뉠 수 있다. 모델 설정 : node의 수, weight의 초기값, bias의 초기값, 등을 설정한다. 손실함수 : 손실 함수에 대한 미분으로 역전파를 할 수 있다. feed forward : 입력층 - 은닉층 - 출력층까지 값을 주는 것을 말한다 손실 함수 & back propagation : 층 사이의..