Unet

Biomedical 분야에서 Image Segmentation 을 목적으로 제안된 End-to-End 방식의 Fully-Convolutional Network 기반 모델

Model Keypoint

넓은 범위의 이미지 픽셀로부터 의미 정보를 추출하고, 의미정보를 기반으로 각 픽셀마다 객체를 분류하는 U 모양의 아키텍처 를 제시
Model Structure 은 크게 3가지로 구성되어있다
1. 수축 경로 (Contracting Path) - 좌측
  - 점진적으로 넓은 범위의 이미지 픽셀을 보며 (Context Information)을 추출하는 경로
2. 확장 경로 (Expanding Path) - 우측
  - 의미정보를 픽셀 위치정보와 결합(Localization)하여 각 픽셀마다 어떤 객체에 속하는지를 구분하는 경로
3. 전환 구간 (Bottle Neck) - 중앙 하단
  - 수축 경로 (Contracting Path) 에서 확장 경로 (Expanding Path) 로 전환되는 부분
context (Semantic Information) 인식과 localization 간의 trade-off 를 보완
- Contracting path 에서는 이미지의 Feature map (context 정보)을 추출하고, Expanding Path 는 Feature map 을 다시 Upsampling 하여 정확한 localization 를 수행한다
- Expanding Path 과정 진행 시에, Contracting Path 에서 추출된 Feature map (context 정보)을 가져와서 부착하여 Contracting Path 에서 생성된 Context 정보와 Expanding Path 의 위치정보를 결합하는 방식으로 trade-off 를 보완한다

U-net 은 전반적인 이미지를 이동해가며 일일이 확인하는 Sliding Window 방식을 사용하지 않는다
- Sliding Window 방식을 사용하면, 이미 사용한 window 구역을 다음 Sliding Window 에서 다시 검증하게 된다
- 시간과 연산 측면에서 낭비가 발생

U-net 은 padding 을 적용하지 않고 Convolution 연산을 수행하기에, 출력 크기가 입력 크기 보다 항상 작다
- 출력 크기와 입력 크기를 동일하게 조정하려면 zero padding 과 같은 방식으로 입력을 감싼 이후 convolution 연산을 수행해야함
U-net 은 이 대신 Overlap tile method 를 사용함
- 사이즈가 줄어들게되면서 채워지지않은 가장자리의 missing value 부분을 미러링 기법을 통해 경계부분의 이미지를 대칭시켜서 값을 채움
- 이 기법을 통해 정보 손실을 최소화하면서 context 정보를 저장할 수 있었다고 저자는 소개

논문에서 사용한 Data Augmentation 방법
- Data Augmentation 에서 주로 사용하는 선형변환에 확률적으로 noise 를 가해주는 방법
일반적인 Data Augmentation (De-colorized, rotate, flip) 으로 선형변환을 취하면 이미지가 일정하게 변하는 규칙성을 띄게된다
확률적으로 noise 를 가해주는 Elastic Deformation 을 사용하면 더 자연스럽고 현실에 가까운 Data 를 Augmentation 할 수 있게 된다
- 더 Biomedical 분야에 적합한 데이터를 생성할 수 있게됨
- Biomedical 분야에서 다루는 세포 등의 이미지 데이터는 살아있는 생명체이기에 모양이 대부분 다르다
- 순간적인 모양의 변화또한 Elastic Deformation 이 잘 표현할 수 있다고 함

Reference

Human Pose Estimation

CNN Visualization

Image Generation

Multi-modal Learning