공돌이 공룡의 서재

Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes https://arxiv.org/pdf/2101.06085v1.pdf Real-time segmentation에서 SOTA를 차지하고 있는 논문이다. 최근에 하고 있는 프로젝트에서, real-time으로 segmentation을 돌리면 좋을 것 같아서 적절한 모델을 찾아보던 중에 공부하게 되었다. 모델 구성이나 개념적으로 SOTA임에도 크게 어렵지는 않았다. Introduction 이전 논문들의 흐름이나, real-time segmentation이 왜 필요한지에 대한 자세한 내용은 생략하겠다. 핵심은 Real-time으로 segmentat..

[BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding] https://arxiv.org/abs/1810.04805 리뷰를 쓰는 시점에서 Transformer와 BERT 둘 다 인용수가 24000을 넘어섰다. 어제 리뷰한 ViT만 해도 BERT기반이고 정말 많은 곳에서 응용되는 모델인 것 같다. Introduction BERT가 나오기 이전에 OpenAI에서 GPT1을 발표했었다. GPT는 앞서 리뷰했듯이, Transformer decoder만 stack 해서 만든 모델이다. 논문 전체적으로 GPT랑 어떤 점이 다른지를 상세하게 적혀있는데, GPT도 공부하고 같이 보면 더 좋은 공부가 될 것 같다. pre-trai..