Spatial Transformer Network (STN)는 이미지 분류를 할 때, 특정 부분을 선택해 집중적으로 학습시키는 방법을 사용합니다. 이는 이미지를 변환해도 동일한 이미지로 인식하는 능력인 공간 불변성(spatial invariance)을 향상시키기 위한 것입니다. 일반적인 CNN에서는 이를 해결하기 위해 max pooling 레이어를 사용하지만, STN은 이를 더 효과적으로 구현하기 위해 이미지의 특정 부분을 자르고 변환해 그 부분만 학습시킵니다.

구성요소와 동작원리, 전반적인 작동 과정, 예시 및 응용과 장점까지 살펴보겠습니다.

구성 요소와 동작 원리:

1. Localization Network (위치 추정 네트워크):

입력 이미지를 받아 변환 파라미터를 예측하는 작은 신경망입니다.
이 네트워크는 CNN 구조를 사용해 주어진 이미지에서 필요한 공간 변환(예: 회전, 이동, 스케일)을 학습합니다.
출력은 변환 매트릭스(일반적으로 2×3 크기의 어피니티 변환 매트릭스)입니다.

2. Grid Generator (그리드 생성기):

Localization Network가 예측한 변환 매트릭스를 사용해 입력 이미지의 좌표를 새롭게 변환된 좌표로 맵핑합니다.
입력 이미지의 픽셀 좌표를 새로운 위치로 변환합니다.

3. Sampler (샘플러):

변환된 좌표를 사용해 실제로 입력 이미지를 변환합니다.
변환된 좌표 그리드를 따라 입력 이미지에서 픽셀 값을 샘플링하고, 이를 기반으로 새로운 이미지를 생성합니다.

작동 과정:

1. 입력 이미지 처리:

입력 이미지는 Localization Network 로 전달됩니다.
Localization Network 는 이미지에서 공간 변환을 결정하는 파라미터(변환 매트릭스)를 예측합니다.

2. 변환 매트릭스 생성:

Localization Network의 출력을 바탕으로 Grid Generator는 변환 매트릭스를 생성합니다.
이 매트릭스는 입력 이미지의 좌표를 새로운 위치로 변환하는 데 사용됩니다.

3. 이미지 변환:

Sampler는 변환된 좌표를 사용해 입력 이미지를 변환합니다.

변환된 이미지는 후속 신경망 레이어로 전달됩니다.

예시 및 응용:

DeepMind의 논문에서는 STN을 적용해 MNIST 데이터셋의 이미지를 변환한 예를 보여줍니다. 잡음이 많은 이미지에서 STN은 원하는 부분을 잘라내어 변환하고, 이를 통해 더 나은 성능을 보여줄 수 있습니다. MNIST와 같은 단순한 데이터셋에서는 큰 차이를 보이지 않을 수 있지만, 복잡한 데이터나 잡음이 많은 데이터에서는 STN이 더 좋은 성능을 기대할 수 있습니다.

장점:

공간 불변성 향상: STN은 이미지의 변형(회전, 이동, 크기 변화)에 대해 더 강건한 모델을 만듭니다.
모듈성: STN은 기존의 신경망 구조에 쉽게 통합할 수 있으며, 별도의 학습 없이 엔드 투 엔드 방식으로 학습됩니다.
학습 가능한 변환: STN은 데이터에 맞춰 최적의 공간 변환을 학습할 수 있습니다.

STN은 컴퓨터 비전 작업에서 입력 이미지의 왜곡과 변형에 강건한 모델을 만드는 데 매우 유용한 도구입니다. 이를 통해 네트워크는 입력 이미지의 다양한 변형에도 더 잘 대응할 수 있습니다.

Conclusion

Spatial Transformation Network(STN)는 CNN을 통해 이미지 분류 시 특정 부분을 떼어내어 집중적으로 학습시키는 방법입니다. 일반적인 CNN에서는 이미지 변환에 대한 불변성을 유지하기 위해 max pooling layer를 사용하지만, STN은 특정 부분을 자르고 변환하여 학습함으로써 더 나은 불변성을 제공합니다. 이 과정은 affine transformation을 통해 이루어지며, CNN 안의 하나의 layer로 구현됩니다. STN은 특히 잡음이 많은 데이터셋에서 좋은 성능을 기대할 수 있습니다.

Reference

[1] https://3months.tistory.com/197
[2] chatGPT4