이번 리뷰할 논문은 사람 신체의 움직임을 잡아내는 모델입니다.

Pose Estimation 이란?

논문에서 다루는 pose estimation이란 사람의 인체 부위를 각 찾아내서 인체의 움직임을 표현하는 task로, 주로 의료, 헬스케어 그리고 엔터테인먼트 분야에서 폭넓게 사용됩니다. 과거에는 효율성과 정확성의 한계로 인해 거의 사용되지 않았으나, 딥러닝의 도입으로 관련 산업이 크게 발전하고 있습니다. 현재의 pose estimation 은 꽤 높은 성능을 보이고 있지만, 여전히, 절단 및 가림 현상이나 부족한 훈련 데이터와 같은 문제를 해결해야 합니다.

heatmap으로 표현한 2d pose estimation

사람이 여러 명일 경우, 사람 수와 위치를 파악하고 다른 사람들과의 구별을 위해 키포인트를 그룹화하는 과정에서 어려움을 겪습니다. 이러한 문제를 해결하기 위해 다중 사용자 HPE (Human Pose Estimation, 인체 포즈 추정) 방법은 bottom-up 및 top-down 방식을 사용합니다. top-down 파이프라인은 이미지에서 각 사람을 탐지한 후, 단일 사용자 기반 방식으로 키포인트 위치를 예측하기 때문에 우수한 결과를 보여줍니다. 이 방법은 배경이 제거되어 탐지된 각 사람 영역 내에서 키포인트를 추정하기가 용이 합니다. 반면에 bottom-up 방식은 일반적으로 top-down 방식보다 효율적입니다. 이는 모든 키포인트를 직접 감지하고, 키포인트 연관 전략을 사용해 각 포즈로 그룹화 하기 때문입니다. [Deep Learning-Based Human Pose Estimation: A Survey]

Stacked Hourglass Network란?

Stacked hourglass 네트워크는 그 이름처럼 여러 개의 hourglass 모양의 구조를 쌓은 형태를 가지고 있습니다. 이는 대부분의 기존 up-sampling 모델들이 하나의 hourglass만 사용하는 것과는 대조적입니다. 성능을 향상시키기 위해 반복되는 bottom-up, top-down 아키텍처를 사용합니다. 이 논문의 핵심은 intermediate supervision과 stacked hourglass 를 사용하는 데 있습니다. Human pose estimation 을 위한 stacked hourglass 네트워크는 많은 state-of-the-art 모델에서 기본으로 사용됩니다. 이 글의 후반부에서는 stacked hourglass 네트워크가 기존 모델보다 어떻게 성능을 향상시키는 지에 대해 살펴보겠습니다.

Fig 1. Our network for pose estimation consists of multiple stacked hourglass modules which allow for repeated bottom-up, top-down inference

Stacked Hourglass Network내에 Skip Connection의 역할

Pose를 추정하려면 관절을 파악하는 과정이 필요합니다. 관절의 위치는 Fig 2의 이미지에서 볼 수 있듯이 heatmap으로 파악합니다. 이때 히트맵을 생성할 때 네트워크가 다운샘플링(downsampling)과 업샘플링(upsampling)을 거쳐 생성합니다. 여기서 문제는 다운샘플링의 마지막 부분에서 해상도가 매우 작아져 7×7과 같은 크기가 된다는 것이다. 이 크기에서는 픽셀이 큰 receptive field를 포함하므로 구조적인 부분을 잘 캡처하지만, 세부적인 부분은 잘 캡처하지 못합니다. 따라서 모든 해상도의 feature를 적용해 줄 필요가 있습니다. Fig 3에서 볼 수 있듯이, stacked hourglass network는 skip connection 을 사용해 모든 해상도를 업샘플링에 활용하는 구조를 가지고 있습니다.

Right: Fig 2. Example output produced by our network. On the left we see the final pose estimate provided by the max activations across each heatmap. On the right we show sample heatmaps. (From left to right: neck, left elbow, left wrist, right knee, right ankle) Left: Fig. 3. An illustration of a single “hourglass” module. Each box in the figure corresponds to a residual module as seen in Figure 4. The number of features is consistent across the whole hourglass.

Fig.3. An illustration of a single “hourglass” module. Each box in the figure corresponds to a residual module as seen in Figure 4. The number of features is consistent
across the whole hourglass.

residual module을 사용하는 이유

Stacked hourglass 네트워크에서 residual 모듈을 사용합니다. Residual 모듈은 vanishing gradient 문제를 일부 해결합니다. 많은 레이어를 통과하면서 gradient가 점점 작아지거나 매우 커지게 되면 수렴하기 어려워집니다. Gradient 범위의 분포가 레이어 위치에 따라 상당한 차이를 보이면, 일부 레이어가 많은 역할을 하게 되어 모든 레이어를 제대로 활용하지 못합니다. 예를 들어, 긴 곱셈 연쇄에서 1보다 작은 값을 계속 곱하면 결과가 매우 작아지며 초기 레이어에서 매우 작은 값이 나타납니다. 이를 해결하기 위해 몇 개의 레이어를 건너뛰어 연결하여 non-linearities를 추가하는 skip connections를 적용할 수 있습니다.

Skip connections는 gradient가 레이어를 건너뛰어 연결될 수 있는 지름길을 만들어 네트워크의 매개변수를 깊게 업데이트할 수 있도록 합니다. 짧은 skip connection을 통해 몇 개의 레이어를 건너뛰면 gradient가 원활하게 흐를 수 있어 updates를 안정화하고 gradient vanishing 문제에 더 강력해지며 수렴이 더 빠르게 이루어집니다. Stacked hourglass 네트워크에서 residual 모듈을 사용하면 보다 깊은 네트워크에서 vanishing gradient 문제를 완화하고, ensemble과 같은 효과로 성능이 향상됩니다.

Residual Module [14] that we use throughout our network.

intermediate supervision의 역할

Architecture에서 사용되는 Intermediate supervision은 중요한 역할을 합니다. 이 단계에서는 생성된 heatmap과 ground-truth heatmap을 비교하여 MSE loss를 계산합니다. 최종 prediction 부분에서만 loss를 계산하는 것이 아니라 중간 단계에서도 추가로 loss를 계산하여 적용함으로써 잘못된 부분을 더 정교하게 보정할 수 있습니다. Intermediate supervision을 사용하면 부정확한 부분을 개선하는 효과를 얻을 수 있으며, 이는 우수한 결과로 직결되므로 해당 network에서 매우 중요합니다. 특히, stacked hourglass와 같이 hourglass 구조가 여러 개 쌓여 있을 때 각 구조마다 intermediate supervision을 적용하는 것은 직관적으로 효율적이라고 예상할 수 있습니다.

Illustration of the intermediate supervision process. The network splits and produces a set of heatmpas (outlined in blue) where a loss can be applied. A 1×1 convolution rempas the heatmaps to match the number of channels of the intermediate features. These are added together along with the features form the preceding hourglass.

intermediate prediction 결과 분석

Intermediate prediction의 결과는 fig 9에 나타납니다. fig 9의 왼쪽 이미지에서 왼쪽은 두 번째 hourglass의 중간 단계와 8번째 hourglass의 최종 예측을 비교한 결과입니다. 해당 이미지에서 볼 수 있듯이 중간 단계의 결과는 부정확하지만 최종 예측에서는 보정됩니다. 이처럼 각 hourglass를 통과하면서 pose estimation의 성능이 향상되는 것을 오른쪽 이미지에서 확인할 수 있습니다. 해당 이미지에서는 hourglass의 개수에 따라 3가지 네트워크로 나누었으며, 모든 네트워크의 매개변수는 동일합니다. 결과에서 볼 수 있듯이 단순히 hourglass를 쌓을수록 최종 예측의 결과가 더 향상됩니다.

Fig. 9. Left: Example validation images illustrating the change in predictions from an intermediate stage (second hourglass) (left) to final predictions (eighth hourglass) (right). Right: Validation accuracy at intermediate stages of the network compared across different stacking arrangements.

비교 결과

평가는 percentage of correct key points(metric)를 사용하여 수행합니다. 결과는 다른 architecture보다 우수합니다. 성능은 일반적으로 2~3% 가량 향상되며, 특히 knee와 같이 어려운 부분에 대한 성능 향상 폭은 더욱 크게 증가합니다. Stacked hourglass network는 단순히 구조를 쌓고 intermediate supervision을 적용함으로써 큰 성능 향상을 얻습니다. 이 network를 기초로 하여 향후 개선된 architecture를 생성해 state-of-the-art(SOTA) 성능을 달성하는 경우도 여러 번 존재합니다.

Table 1. FLIC results (PCK@0.2)

Table 2. Results on MPⅡ Human Pose (PCKh@0.5)

hourglasses개수와 intermediate supervision의 효과 비교

hourglass stack의 개수와 intermediate supervision의 효과를 비교한 결과가 아래에 나타납니다. HG-Stacked-int > HG-int > HG-Stacked > HG-Half 순서로 accuracy가 높습니다. 결과를 통해 stacked hourglass와 intermediate supervision이 정확도 향상에 도움이 된다는 것을 알 수 있습니다. 비록 결과가 여러 가지 복합적인 요소에 의해 나타났지만, 대략적으로 intermediate supervision으로 인한 성능 향상이 hourglass를 쌓는 것보다 더 높은 성능 향상을 보인다는 것을 추측할 수 있습니다.

Fig 8. Comparison of validation accuracy as training progresses. The accuracy is averaged across the wrists, elbows, knees, and ankles. The different network designs are illustrated on the right, the circle is used to indicate where a loss is applied

occultation problem내에 heatmap의 우월성

pose estimation에서는 여러 사람이 나타날 때 제한된 성능을 보입니다. 이는 사람들이 서로 매우 가까이 있거나 겹쳐져 있을 때 발생하는 모호한 상황에서 occlusion 문제 때문입니다. 이미지에서 관절이 보이지 않지만 실제로 존재하는 경우나, 몸의 일부만 보이는 상황에서 pose estimation을 수행할 때 상당한 어려움이 있습니다. 무조건 관절을 그려야 한다면, 이는 무의미한 예측을 초래할 수 있습니다. 반면 heatmap은 관절의 존재 여부를 판단하여 필터링할 수 있습니다. Fig 11에서 not visible의 detection rate가 상당히 낮다는 점을 통해, 이러한 상황을 필터링하면 비교적 정확한 pose estimation이 가능할 것입니다. 현실 세계의 다양한 문제에서 occlusion이 많이 발생한다는 점을 고려할 때, heatmap을 사용하는 stacked hourglass network가 더 가치 있을 수 있습니다.

Fig.10. The difference made by a slight translation and change of scale of the input image. The network determines who to generate an annotation for based on the central figure. The scaling and shift right of the input image is enough for the network to switch its predictions.

Fig. 11. Left: PCKh curves on validation comparing performance when exclusively considering joints that are visible (or not). Right: Precision recall curves showing the accuracy of predicting whether an annotation is present for a joint when thresholding on either the mean or max activation of a heatmap.

Conclusion

이 논문에서는 pose estimation을 위한 새로운 네트워크인 stacked hourglass를 제시했습니다. stacked hourglass 네트워크는 단순히 여러 개의 hourglass 구조를 쌓는 방법으로 정확도를 향상시키며, 특히 좋은 결과를 보이는 intermediate supervision과 함께 사용됩니다. 제안된 네트워크는 기존의 네트워크보다 성능이 크게 향상되지만, 아직 해결해야 할 문제들이 남아 있습니다. 여러 사람이 존재하거나 특정한 상황에서 발생하는 occlusion 현상에서는 정확한 pose estimation이 어렵습니다. 이러한 문제에 대해 stacked hourglass 네트워크는 비교적 강력한 성능을 보이지만, 근본적인 해결책으로는 부족합니다.

References

Zheng, Ce, et al. “Deep Learning-Based Human Pose Estimation: A Survey.” arXiv preprint arXiv:2012.13392 (2020).
Newell, Alejandro, Kaiyu Yang, and Jia Deng. “Stacked hourglass networks for human pose estimation.” European conference on computer vision. Springer, Cham, 2016.
Ethan Yanjia Li, Human Pose Estimation with Stacked Hourglass Network and TensorFlow, medium, 2020
https://lswook.tistory.com/107