IoU 는 무엇인가?

IoU (Intersection over Union, 교집합 비율)은 객체 탐지기의 정확도를 특정 데이터셋에서 측정하는 평가 지표입니다. 이 평가는 PASCAL VOC와 같은 객체 탐지 챌린지에서 자주 사용됩니다.

IoU는 HOG + 선형 SVM 객체 탐지기와 R-CNN, Faster R-CNN, YOLO 등의 합성곱 신경망 탐지기 성능을 평가하는 데 사용됩니다. 예측을 생성하는 알고리즘의 종류는 중요하지 않습니다.

IoU는 단순히 평가 지표일 뿐입니다.
예측된 바운딩 박스 (bounding box, 경계 상자)를 출력하는 알고리즘은 모두 IoU를 사용하여 평가할 수 있습니다.

보다 공식적으로, 임의의 객체 탐지기를 평가하기 위해 IoU를 적용하려면 다음이 필요합니다:

1. 실제 바운딩 박스 (테스트 세트에서 손으로 레이블링한 바운딩 박스).
2. 모델의 예측 바운딩 박스.

이 두 세트의 바운딩 박스가 있으면 IoU를 적용할 수 있습니다.

아래는 실제 (ground-truth) 바운딩 박스와 예측 바운딩 박스의 예시입니다.
객체 탐지기가 정지 표지판을 탐지하였습니다.

예측 바운딩 박스는 빨간색, 실제 바운딩 박스는 파란색입니다. IoU 는 다음과 같이 계산합니다.

위 그림에서 볼 수 있는 것처럼 IoU 는 단순히 비율입니다.

분자에서는 예측한 바운딩 박스와 실제 바운딩 박스 사이의 겹치는 영역을 계산합니다.
분모에서는 예측한 바운딩 박스와 실제 바운딩 박스가 포함된 전체 영역, 즉 합집합의 면적입니다.

겹치는 영역의 면적을 합집합의 면적으로 나누면 IoU 값이 나옵니다.

보통 Intersection over Union 점수가 0.5 이상이면 ‘좋은’ 예측으로 간주됩니다.

IoU 를 왜 사용하나?

이전에 머신 러닝, 특히 분류 작업을 수행한 적이 있다면, 모델이 단일 레이블을 출력하여 그 레이블이 맞거나 틀린지 판단하는 방식에 익숙할 것입니다.

이런 유형의 이진 분류는 정확도를 계산하기 간단하지만, 객체 감지에서는 그렇게 간단하지 않습니다.

실제로, 예측된 경계 상자의 (x, y) 좌표가 실제 경계 상자의 (x, y) 좌표와 정확히 일치할 가능성은 매우 낮습니다.

모델의 다양한 매개변수(이미지 피라미드 스케일, 슬라이딩 윈도우 크기, 특징 추출 방법 등) 때문에 예측된 경계 상자와 실제 경계 상자가 완전히 일치하는 것은 비현실적입니다.

따라서, 예측된 경계 상자가 실제 경계 상자와 크게 겹치는 경우 보상을 주는 평가 지표를 정의해야 합니다.

위 그림에서 좋은 IoU 점수와 나쁜 IoU 점수의 예를 보여주었습니다.

보시다시피, 실제 경계 상자와 많이 겹치는 예측된 경계 상자가 더 높은 점수를 받습니다. 이는 IoU가 사용자 정의 객체 감지기를 평가하기 위한 훌륭한 지표가 되는 이유입니다.

(x, y) 좌표의 정확한 일치를 신경 쓰는 것이 아니라, 예측된 경계 상자가 가능한 한 가깝게 일치하는지 확인하고자 하며, IoU는 이를 고려할 수 있습니다.

IoU 구현하기

이제 IoU(Intersection over Union)가 무엇인지 이해했으니, 이를 객체 탐지 모델을 평가하는 데 사용하는 이유를 살펴보겠습니다. Python NumPy 를 이용해 구현해 보겠습니다.

import numpy as np

def get_iou(ground_truth, pred):
    # coordinates of the area of intersection.
    ix1 = np.maximum(ground_truth[0], pred[0])
    iy1 = np.maximum(ground_truth[1], pred[1])
    ix2 = np.minimum(ground_truth[2], pred[2])
    iy2 = np.minimum(ground_truth[3], pred[3])
     
    # Intersection height and width.
    i_height = np.maximum(iy2 - iy1 + 1, np.array(0.))
    i_width = np.maximum(ix2 - ix1 + 1, np.array(0.))
     
    area_of_intersection = i_height * i_width
     
    # Ground Truth dimensions.
    gt_height = ground_truth[3] - ground_truth[1] + 1
    gt_width = ground_truth[2] - ground_truth[0] + 1
     
    # Prediction dimensions.
    pd_height = pred[3] - pred[1] + 1
    pd_width = pred[2] - pred[0] + 1
     
    area_of_union = gt_height * gt_width + pd_height * pd_width - area_of_intersection
     
    iou = area_of_intersection / area_of_union
     
    return iou

여기서 우리는 교차 영역을 둘러싸는 바운딩 박스의 좌표를 찾습니다. 그런 다음 교차 면적을 실제 (Ground Truth)와 예측된 경계 상자의 면적 합에서 뺍니다.

높이와 너비를 계산할 때 1을 더해 나누기 0 오류를 방지합니다. 이론적으로는 0.0001과 같은 극소량의 양수를 더할 수 있지만, 이미지가 이산적이므로 이미지의 최소 차원은 1×1입니다. 따라서 우리는 1을 더해야 합니다.

아래는 임의의 실제 바운딩 박스 좌표값과 예측 바운딩 박스 좌표값을 정의합니다.

ground_truth_bbox = np.array([1202, 123, 1650, 868], dtype=np.float32)
prediction_bbox = np.array([1162.0001, 92.0021, 1619.9832, 694.0033], dtype=np.float32)

iou = get_iou(ground_truth_bbox, prediction_bbox)
print('IOU: ', iou)

아래는 임의로 정의한 바운딩 박스의 IoU 값을 계산한 결과입니다.

IOU:  0.6441399913136432

IoU 구현 – 다른 방법들

위에서는 IoU 의 Python과 NumPy로 구현을 했습니다. 그러나 특정 응용 프로그램 및 프로젝트에 더 적합한 다른 IoU 구현도 있습니다.

예를 들어, TensorFlow, Keras, PyTorch와 같은 인기 있는 라이브러리/프레임워크를 사용하여 딥러닝 모델을 훈련하는 경우, 딥러닝 프레임워크를 사용한 IoU 구현이 알고리즘의 속도를 향상시킬 수 있습니다.

다음은 심층 신경망 객체 탐지기를 훈련할 때 손실/메트릭 함수로 사용할 수 있는 IoU의 대체 구현 방법들입니다:

TensorFlow의 MeanIoU 함수는 객체 탐지 결과 샘플에 대한 평균 교차 연합을 계산합니다.
TensorFlow의 GIoULoss 손실 메트릭은 Rezatofighi 등의 논문 “Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression“에서 처음 소개되었습니다. 이 방법은 평균 제곱 오차, 교차 엔트로피 등을 최소화하도록 신경망을 훈련시키는 것처럼, 드롭인 대체 손실 함수로 작동하여 객체 탐지 정확도를 높일 수 있습니다.
PyTorch의 IoU 구현은 PyTorch 커뮤니티에 유용할 수 있습니다.

결론

IoU 는 교차 영역을 둘러싸는 바운딩 박스의 좌표를 찾습니다. 그런 다음 교차 면적을 실제 값과 예측된 값의 바운딩 박스 면적 합에서 뺍니다. 위에서 IoU 의 기본 개념과 필요성에 대해 논의했습니다. 또한 NumPy 를 사용한 IoU의 구현 방법도 알아보았습니다. 객체 탐지에서 IoU는 분할에서와 같은 의미를 갖지 않는다는 점에 유의해야 합니다.

객체 탐지에서 IoU는 모델의 정확도를 직접 계산하지 않습니다. 오히려 실제 값과 예측값 간의 중첩 정도를 평가하는 보조 메트릭입니다.모델 정확도를 평가하기 위해 평균 정밀도(AP)와 평균 평균 정밀도(mAP) 메트릭이 있습니다. mAP@0.5, mAP@0.75 등을 볼 때, 이는 각각 0.5 및 0.75의 IoU 임계값에서 계산된 mAP 값입니다.

참고 블로그

Intersection over Union (IoU) for object detection – PyImageSearch
Intersection Over Union IoU in Object Detection Segmentation