UPerNet

scene recognition, object detection, texture recognition, material recognition task를 동시에 해결하는 framework를 제안

Model Keypoint

• FPN
• PPM
• Head

Architecture

1. FPN (Feature Pyramid Network)

   • multi-level feature representations를 사용하는 feature extractor
   • pyramidal hierarchy 구조
   • top-down architecture + lateral connections -> high-level semantic information를 middle 혹은 low level information과 융합

2. PPM (Pyramid Pooling Module)

   • backbone network의 마지막 layer에 추가
   • FPN의 top-down branch로 진행하기 전에 PPM 위치
   • 효과적인 global prior representations

3. Head

   • scene recognition, object detection, texture recognition, material recognition task를 동시에 해결 가능하도록 만듦
     • single network에서, multiple level에 존재하는 visual attributes를 parse하고 unify 할 수 있음
   • Scene Head / Object Head / Part Head / Material Head / Texture Head

Scene Head

• Conv 3x3 -> GAP -> Classifier로 구성
• image-level의 highest-level information이 필요하므로, GAP 적용

Object Head / Part Head

• Conv 3x3 -> Classifier로 구성
• 실험 결과, FPN의 모든 feature map을 융합하여 사용하는 경우가, highest resolution의 feature map만 사용하는 경우보다 결과가 더 좋았음

Material Head

• material recognition을 위해서 context information과 local feature가 필요
• 모든 feature map을 융합해서 사용하는 대신, highest resolution의 feature map을 사용

Texture Head

• 여러 convolutional layer를 추가하는 것으로 구성
• 매 pixel마다 texture label을 예측하도록 만듦
• Texture branch의 gradient는 back-propagation 되지 않음 -> Texture Head만 학습하도록

Reference

• https://arxiv.org/pdf/1807.10221.pdf