네트워크 인 네트워크 – 개요

네트워크 인 네트워크 (Network In Network, NIN) 라는 새로운 깊은 네트워크 구조를 제안합니다.

이 구조는 수용 영역 (receptive field) 내의 로컬 패치 (local patch) 에 대한 모델의 판별력을 향상시키기 위해 고안되었습니다. 기존의 합성곱 층은 선형 필터와 비선형 활성화 함수를 사용하여 입력을 스캔합니다.

하지만 여기서는 수용 영역 내의 데이터를 추상화하기 위해 더 복잡한 구조의 마이크로 신경망을 구축합니다.
이 마이크로 신경망은 다층 퍼셉트론으로 구현되며, 강력한 함수 근사기 (approximator) 로 작용합니다.
피처 맵은 마이크로 네트워크를 입력에 슬라이딩하여 얻어지며, 다음 층으로 전달됩니다.

이러한 구조를 여러 겹 쌓아 깊은 NIN을 구현할 수 있습니다.

마이크로 네트워크를 통해 로컬 모델링이 향상됩니다. 분류 층에서 기존의 완전 연결 층보다 해석이 쉽고, 과적합에 덜 취약한 글로벌 평균 풀링 (Global Average Pooling)을 사용할 수 있습니다.

NIN을 사용하여 CIFAR-10과 CIFAR-100에서 최첨단 분류 성능을 입증했으며, SVHN과 MNIST 데이터셋에서도 합리적인 성능을 보였습니다.

참고: 용어 설명

근사기 (approximator)
여기서 ‘approximator’는 복잡한 데이터의 관계를 예측하거나 추정하는 도구를 의미합니다. 쉽게 말해, ‘예측기’나 ‘추정기’로 설명할 수 있습니다.

예를 들어, MLP는 학습한 데이터를 바탕으로 새로운 데이터를 예측하거나 추정할 수 있는 신경망의 한 종류입니다.

TensorFlow Keras 로 구현된 CNN 에서 출력층 즉, softmax 활성화 함수를 사용한 마지막 Dense 층이 이러한 근사기로서 예측값을 냅니다.

수용 영역 (receptive field)
CNN에서 “수용 영역”은 네트워크의 특정 뉴런이 “보고 있는” 또는 반응하는 입력 이미지의 특정 영역을 의미합니다. 이는 다음 계층의 뉴런 활성화에 기여하는 입력의 영역입니다.

예를 들어, 첫 번째 합성곱 층에서 수용 영역은 작은 3×3 또는 5×5 픽셀 패치일 수 있습니다. 네트워크가 깊어질수록 수용 영역은 더 커져 입력 이미지의 더 많은 부분을 포함하게 됩니다. 이러한 커지는 수용 영역은 더 깊은 층의 뉴런이 더 복잡하고 추상적인 특징을 포착할 수 있게 합니다.

(참고)
What is the difference between a receptive field and a feature map?
Can neurons in MLP and filters in CNN be compared?

로컬 패치 (local patch)
CNN에서, 필터(또는 커널)가 한 번에 처리하는 이미지의 작은 창을 의미합니다.
필터는 전체 이미지를 따라 슬라이딩하면서 각 로컬 패치에 가중치를 적용하여 피처 맵을 생성합니다.
이 작업은 이미지 내 특정 패턴이나 특징을 감지하는 데 도움이 됩니다.

네트워크 인 네트워크 – 구조

기존 합성곱 신경망의 구조

합성곱 신경망(CNN)은 합성곱 층과 풀링 층이 교대로 배열된 구조입니다.
합성곱 층은 선형 필터와 수용 영역의 내적을 계산한 후, 비선형 활성화 함수를 적용합니다.
결과는 피처 맵이라 불립니다.

CNN의 합성곱 필터는 데이터 패치에 대한 일반화된 선형 모델(GLM)입니다.
그러나 GLM의 추상화 수준은 낮습니다.
추상화는 동일한 개념의 변형에 대해 특징이 불변하는 것을 의미합니다.

GLM을 더 강력한 비선형 함수 근사기 (approximator)로 대체하면 로컬 모델의 추상화 능력이 향상될 수 있습니다.

GLM은 잠재 개념의 샘플이 선형적으로 분리 가능한 경우 추상화를 잘 수행합니다.
그러나 동일한 개념의 데이터는 종종 비선형 다양체 (manifold)에 존재하므로, 이러한 개념을 포착하는 표현은 일반적으로 입력의 고도로 비선형 함수입니다.

네트워크 인 네트워크의 구조

NIN에서는 GLM을 일반적인 비선형 함수 근사기인 “마이크로 네트워크” 구조로 대체합니다.

이 작업에서는 보편적 함수 근사기이자 역전파로 학습할 수 있는 신경망인 다층 퍼셉트론을 마이크로 네트워크의 구체화로 선택했습니다.

그림 1. 선형 합성곱 층과 Mlpconv 층 비교

결과적으로 이 구조를 ‘mlpconv’ 층이라고 부르며, 이는 그림 1에서 CNN과 비교됩니다.

선형 합성곱 층과 mlpconv 층 모두 지역 수용 영역을 출력 특징 벡터로 매핑합니다.
mlpconv 층은 다층 퍼셉트론(MLP)으로 구성된 다수의 완전 연결 층과 비선형 활성화 함수를 사용하여 입력 지역 패치를 출력 특징 벡터로 매핑합니다. 이 MLP는 모든 지역 수용 영역에 공유됩니다.

특징 맵은 CNN과 유사한 방식으로 입력 위에 MLP를 슬라이딩하여 얻어지며, 그런 다음 다음 층으로 전달됩니다. NIN의 전체 구조는 다수의 mlpconv 층을 쌓아 올린 것입니다.

이를 Network In Network (NIN) 이라고 부릅니다.
mlpconv 층 내에 전체 심층 네트워크의 구성 요소인 마이크로 네트워크(MLP)를 포함하고 있기 때문입니다.

출력층의 차이점

기존의 CNN에서는 분류를 위해 완전 연결 층을 사용합니다.

새로운 구조에서는 마지막 mlpconv 층에서 나오는 특징 맵을 전역 평균 풀링 (global average pooling) 층을 통해 직접 출력합니다. 그 결과 벡터는 소프트맥스 층으로 전달됩니다.

기존의 CNN에서는 완전 연결 층이 중간에서 블랙박스 역할을 합니다.
그래서 객체 비용 (objective cost) 층의 정보가 이전 합성곱 층으로 어떻게 전달되는지 해석하기 어렵습니다.

반면, 전역 평균 풀링은 특징 맵과 분류 범주 사이의 관계를 명확히 하여 더 쉽게 해석합니다.
완전 연결 층은 과적합에 취약하여 드롭아웃 정규화에 크게 의존합니다.
하지만 전역 평균 풀링은 그 자체로 구조적 정규화 역할을 하여, 전체 구조의 과적합을 자연스럽게 방지합니다.

네트워크 인 네트워크 – 개선된 합성곱 신경망

원래의 합성곱 신경망(Convolutional Neural Networks, CNNs) 은 교대로 쌓인 합성곱 층과 공간 풀링 층 (spatial pooling layers)으로 구성됩니다. 합성곱 층은 선형 합성곱 필터와 비선형 활성화 함수(예: 렐루, 시그모이드, 탄젠트 하이퍼볼릭)를 사용하여 특징 맵을 생성합니다.

렐루 (ReLU) 활성화 함수를 예로 들면, 특징 맵은 다음과 같이 계산됩니다:

(1) $f_{i,j,k} = \max(w_k^{T} x_{i,j}, 0)$

여기서 $(i, j)$ 는 특징 맵의 픽셀 인덱스이고, $x_{ij}$ 는 $(i, j)$ 위치를 중심으로 한 입력 패치를 나타내며, $k$ 는 특징 맵의 채널을 인덱싱하는 데 사용됩니다.

데이터의 잠재된 패턴이 선형적으로 구분이 된다면, 이 선형 합성곱도 충분합니다.
그러나 보통 현실에서는 비선형적으로 구분되는 패턴을 가집니다.
그래서 ReLU, sigmoid, tanh 같은 비선형 함수 (highly nonlinear function) 를 사용합니다.

기존의 CNN 에서는 과도한 필터 집합을 사용하여 잠재된 개념의 모든 변형을 포괄함으로써 이를 보완합니다.
즉, 개별 선형 필터는 동일한 개념의 다른 변형을 감지하도록 학습됩니다. 그러나 하나의 개념에 너무 많은 필터가 있으면, 다음 층에서 이전 층의 모든 변형 조합을 고려하는 추가적 부담을 줍니다.

CNN 에서 상위 층의 필터는 원래 입력 이미지의 큰 영역을 다룹니다.
이전 층에서 알게 된 개념을 결합하여 더 높은 개념을 만듭니다. 따라서 이미지의 각 작은 부분 (local patch) 을 복잡한 개념으로 결합되기 이전에 분석이 된다면, 이미지 이해력을 개선시킬 수 있습니다.

네트워크 인 네트워크와 맥스아웃 (maxout)

최근의 맥스아웃 (maxout) 네트워크에서는 최대 풀링 (maximum pooling)을 통해 특징 맵의 수를 줄입니다.
여기서 특징 맵은 활성화 함수를 적용하지 않은 선형 합성곱의 직접적인 결과입니다.

선형 함수들 간의 최대값을 취하는 것은 모든 볼록 함수를 근사할 수 있는 조각별 선형 근사기를 만듭니다. 기존의 선형 분리를 수행하는 합성곱 층과 비교하여, 맥스아웃 네트워크는 볼록 집합 내에 있는 개념들을 분리할 수 있어 더욱 강력합니다. 이러한 개선은 여러 벤치마크 데이터셋에서 맥스아웃 네트워크에 최고의 성능을 부여합니다.

그러나 맥스아웃 네트워크는 잠재 개념의 인스턴스가 입력 공간 내에서 볼록 집합 내에 존재한다는 전제를 강요합니다. 이는 반드시 성립하지 않을 수 있습니다.

잠재 개념의 분포가 더 복잡할 때는 더 일반적인 함수 근사기를 사용하는 것이 필요합니다.
이를 달성하기 위해, 각 합성곱 층 내에 마이크로 네트워크를 도입하여 지역 패치에 대해 더 추상적인 특징을 계산하는 새로운 네트워크 인 네트워크 (Network In Network) 구조를 도입하려고 합니다.

입력에 마이크로 네트워크를 슬라이딩하는 방법은 이전의 여러 연구에서 제안되었습니다.

예를 들어, Structured Multilayer Perceptron (SMLP) 는 입력 이미지의 다른 패치에 공유된 다층 퍼셉트론을 적용합니다. 또 다른 연구에서는 얼굴 인식을 위해 신경망 기반 필터를 훈련시켰습니다.

그러나 이들은 특정 문제를 위해 설계되었고 슬라이딩 네트워크 구조를 하나의 층만 포함합니다. NIN 은 모든 수준의 특징에 대해 더 나은 추상화를 추구하는 일반적인 관점에서 제안되었습니다. 마이크로 네트워크는 CNN 구조에 통합되어 있습니다.

네트워크 인 네트워크 (Network In Network)

다층 퍼셉트론 합성곱 층 (MLP Convolution Layers)

잠재 개념의 분포에 대한 사전 정보가 없는 경우, 지역 패치의 특징 추출을 위해 보편적인 함수 근사기를 사용하는 것이 바람직합니다. 이는 잠재 개념의 더 추상적인 표현을 근사할 수 있기 때문입니다. 방사 기저 신경망과 다층 퍼셉트론은 잘 알려진 보편적인 함수 근사기입니다.

이 연구에서는 두 가지 이유로 다층 퍼셉트론을 선택했습니다. 첫째, 다층 퍼셉트론은 역전파를 사용하여 훈련되는 CNN 구조와 호환됩니다. 둘째, 다층 퍼셉트론 자체가 깊은 모델이 될 수 있어 특징 재사용의 정신과 일치합니다 . 이 새로운 유형의 층은 mlpconv라고 불리며, 여기서 MLP가 GLM을 대체하여 입력을 합성곱을 합니다. 그림 1은 선형 합성곱 층과 mlpconv 층의 차이점을 보여줍니다.

다층 퍼셉트론 합성곱 층의 계산

mlpconv 층의 계산은 다음과 같습니다.

(2) $\begin{align} f^{1}_{i,j,k_{1}} &= \max \left( \mathbf{w}^{T}_{k_{1}} \mathbf{x}_{i,j} + b_{k_{1}}, 0 \right), \\ & \vdots \notag \\ f^{n}_{i,j,k_{n}} &= \max \left( \mathbf{w}^{T}_{k_{n}} f^{n-1}_{i,j} + b_{k_{n}}, 0 \right). \end{align}$

$f^{1}_{i,j,k_{1}}$ 는 첫 번째 층의 $i,j$ 위치에서의 $k_1$ 번째 채널의 출력입니다.
$\mathbf{w}_{k_{1}}$ 는 해당 채널의 가중치 벡터입니다.
$\mathbf{x}_{i,j}$ 는 입력 데이터의 $i,j$ 위치에 해당하는 벡터입니다.
$b_{k_{1}}$ 는 편향 값입니다.
$ReLU$ 활성화 함수 $\max( \cdot , 0 )$ 가 적용되었습니다.
$f^{n}_{i,j,k_{n}}$ 는 $n$ 번째 층의 $i,j$ 위치에서의 $k_n$ 번째 채널의 출력입니다.
$f^{n-1}_{i,j}$ 는 이전 층의 출력입니다.

여기에서 $n$ 은 다층 퍼셉트론의 층 수를 나타냅니다. 다층 퍼셉트론에서는 ReLU (Rectified Linear Unit) 가 활성화 함수로 사용됩니다.

이 방정식은 다층 퍼셉트론이 입력 패치에서 특성 벡터를 계산하는 방법을 설명합니다. 각 층의 출력은 이전 층의 결과에 선형 변환을 적용하고, 이를 활성화 함수 $\text{ReLU}$ 를 통해 비선형성을 추가하여 계산됩니다. 이렇게 하면 각 입력 패치에 대해 복잡한 비선형 변환을 수행할 수 있어, 고차원의 특성을 추출할 수 있습니다.

채널 간 풀링의 관점에서, 방정식 2는 일반적인 합성곱 층에서 계단식 채널 간 매개변수 풀링과 동일합니다. 각 풀링 층은 입력 특징 맵에 대해 가중 선형 재조합을 수행한 후, ReLU 를 통과합니다. 채널 간 풀링된 특징 맵은 다음 층에서 반복적으로 다시 채널 간 풀링됩니다. 이러한 계단식 채널 간 매개변수 풀링 구조는 채널 간 정보의 복잡하고 학습 가능한 상호 작용을 가능하게 합니다.

채널 간 매개변수 풀링 층은 또한 1×1 합성곱 커널을 사용하는 합성곱 층과 동일합니다. 이러한 해석은 NIN의 구조를 이해하는 데 직관적입니다.

맥스아웃 (maxout) 층의 피처 맵 계산

텍스트는 maxout 네트워크의 maxout 층이 여러 개의 affine 피처 맵에 대해 max 풀링을 수행한다고 설명합니다. maxout 층의 피처 맵은 다음 수식을 통해 계산됩니다:

(3) $f_{i,j,k} = \max_{m} (w_{k,m}^T x_{i,j})$

여기서 $f_{i,j,k}$ 는 피처 맵을 나타내고, $w_{k,m}$ 은 가중치, $x_{i,j}$ 는 위치 $(i, j)$ 에서 중심으로 하는 입력 패치를 나타냅니다. $\max$ 연산은 $m$ 피처 맵에 대해 수행됩니다.

Maxout 을 사용하는 경우, 선형 함수들에 대해 최대값을 취하는 것이므로 어떤 볼록 함수도 모델링할 수 있는 부분적으로 선형인 함수가 됩니다. 볼록 함수에서는 특정 임계값 아래의 함수 값들을 가진 샘플들이 볼록 집합을 이룹니다.

따라서, 지역 패치의 볼록 함수들을 근사함으로써, maxout은 볼록 집합 내에 있는 개념들에 대한 분리 초평면을 형성할 수 있습니다 (예: l2 볼, 볼록 원뿔). Mlpconv 층은 maxout 층과 달리 볼록 함수 근사기를 보편 함수 근사기로 대체하여 잠재 개념들의 다양한 분포를 모델링할 수 있는 더 큰 능력을 제공합니다.

전역 평균 풀링 (Global Average Pooling)

기존의 합성곱 신경망(CNN)은 네트워크의 하위 층에서 합성곱을 수행합니다. 분류를 위해 마지막 합성곱 층의 특징 맵을 벡터화하여 소프트맥스 로지스틱 회귀 층이 뒤따르는 완전 연결 층에 입력합니다.

이 구조는 합성곱 구조와 기존의 신경망 분류기를 연결하며, 합성곱 층을 특징 추출기로 사용하고 결과적인 특징을 기존의 방식으로 분류합니다. 그러나 완전 연결 층은 과적합의 위험이 있어 네트워크 전체의 일반화 능력을 저하시킬 수 있습니다. Hinton 등은 드롭아웃을 제안하여 훈련 중 완전 연결 층의 활성화 값 절반을 무작위로 0으로 설정하는 정규화 방법으로, 일반화 능력을 향상시키고 과적합을 방지합니다.

이 연구에서는 CNN에서 기존의 완전 연결 층을 대체하기 위해 글로벌 평균 풀링이라는 전략을 제안합니다. 이 아이디어는 마지막 mlpconv 층에서 각 분류 작업의 카테고리에 해당하는 특징 맵을 생성하는 것입니다. 특징 맵 위에 완전 연결 층을 추가하는 대신, 각 특징 맵의 평균을 구하고 그 결과 벡터를 소프트맥스 층에 직접 입력합니다.

글로벌 평균 풀링의 한 가지 장점은 완전 연결 층보다 합성곱 구조에 더 적합하다는 것입니다. 이는 특징 맵과 카테고리 간의 대응 관계를 강제하여 특징 맵을 카테고리 신뢰도 맵으로 쉽게 해석할 수 있게 합니다. 또 다른 장점은 글로벌 평균 풀링에는 최적화할 매개변수가 없으므로 과적합이 방지된다는 것입니다. 또한, 글로벌 평균 풀링은 공간 정보를 합산하여 입력의 공간적 변환에 더 강인합니다.

글로벌 평균 풀링을 특징 맵을 명시적으로 개념(카테고리)의 신뢰도 맵으로 강제하는 구조적 정규화 장치로 볼 수 있습니다. 이는 mlpconv 층 덕분에 가능하며, 이 층은 GLM보다 신뢰도 맵에 더 근접한 근사치를 제공합니다.

NIN의 전체 구조는 mlpconv 층의 스택으로 구성되며, 그 위에 글로벌 평균 풀링 층과 목표 비용 층이 있습니다. CNN 및 maxout 네트워크와 마찬가지로 mlpconv 층 사이에 하위 샘플링 층을 추가할 수 있습니다. 그림 2는 세 개의 mlpconv 층이 있는 NIN을 보여줍니다. 각 mlpconv 층 내에는 세 개의 층으로 구성된 퍼셉트론이 있습니다. NIN과 마이크로 네트워크의 층 수는 유연하며 특정 작업에 맞게 조정할 수 있습니다.

네트워크 인 네트워크 – 결론

이 연구에서는 분류 작업을 위해 Network In Network (NIN)이라는 새로운 심층 네트워크를 제안했습니다. 이 새로운 구조는 입력을 합성곱하는 다층 퍼셉트론을 사용하는 mlpconv 층과, 기존의 CNN의 완전 연결 층을 대체하는 글로벌 평균 풀링 층으로 구성됩니다.

mlpconv 층은 로컬 패치를 더 잘 모델링하며, 글로벌 평균 풀링은 과적합을 방지하는 구조적 정규화 장치로 작용합니다. 이 두 구성 요소를 통해 CIFAR-10, CIFAR-100, 그리고 SVHN 데이터셋에서 최첨단 성능을 입증했습니다. 특징 맵의 시각화를 통해 NIN의 마지막 mlpconv 층에서 얻은 특징 맵이 카테고리의 신뢰도 맵임을 확인했으며, 이를 통해 NIN을 통한 객체 탐지 가능성을 제시했습니다.