Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- OpenCV
- reconstruction
- flame
- Knowledge Distillation
- Python
- 임계처리
- Threshold
- 스택
- transformer
- deep learning
- cv2
- re-identification
- Deeplearning
- 3D
- numpy
- point cloud
- Object Detection
- level2
- Computer Vision
- 파이썬
- NLP
- 알고리즘
- center loss
- 프로그래머스
- Object Tracking
- 큐
- 딥러닝
- attention
- 자료구조
- 논문 구현
Archives
- Today
- Total
목록nIPS (1)
공돌이 공룡의 서재
[논문 리뷰] Distilling the Knowledge in a Neural Network
1. Introduction 기존에 있는 방법들의 issue들을 언급한다. cumbersome model 좋은 성능을 내기 위해서는 model ensemble 방법을 사용할 수 있으나, 연산량이 많고 시간이 오래 걸린다. side effect of normal training 일반적인 학습은 올바른 답에 대한 평균 확률을 최대화하는 것이 목표다. 이런 방식은 모든 오답에도 확률을 할당한다. 예를 들어서, category로 트럭과 BMW와 당근이 있다고 하고 실제 이미지는 BMW라 하자. 모델이 트럭으로 판단할 확률이 작아도 존재하고, 이 확률은 당근으로 판단할 확률보다는 훨씬 큰 값이다. 이는 모델이 training data만으로 어떻게 일반화를 하는지를 말해준다. 이 Intro에서 말하고자 하는 Kno..
딥러닝/Model
2022. 2. 13. 17:45