Ablation Study 란?

Ablation의 사전적 정의는 ” 제거 “입니다.
즉, Ablation Study는 제거 연구로, 모델의 성능에 가장 큰 영향을 미치는 요소를 찾기 위해 모델의 구성요소 및 feature들을 단계적으로 제거 하거나 변경해가며 성능의 변화를 관찰하는 방법입니다. 이를 통해 모델의 핵심적인 구성요소와 하이퍼파라미터등을 파악할 수 있습니다.

Ablation Study가 반드시 필요한 경우

알고리즘을 풀어나가는 과정에서 ablation study가 반드시 필요한 경우는 다음과 같습니다:
1. 복잡한 모델 구조를 사용하는 경우
– 모델에 여러 요소가 포함되어 있어 어떤 요소가 성능에 가장 큰 영향을 미치는지 불분명할 때

2. 많은 하이퍼파라미터를 사용하는 경우
– 모델 성능에 영향을 미치는 핵심적인 하이퍼파라미터가 무엇인지 알기 어려운 경우

3. 기존 연구와 다른 접근법을 사용하는 경우
– 새로운 접근법이 기존 연구와 어떤 점이 다르고 성능에 어떤 영향을 미치는지 파악하기 위해

이처럼 모델의 구조나 하이퍼파라미터가 복잡하거나 새로운 접근법을 사용하는 경우 ablation study를 통해 모델의 핵심 요소를 파악하고 성능 향상에 기여할 수 있습니다.

Quora에서 설명하고 있는 간단한 예시를 들어보겠습니다.

LSTM에는 특성 게이트, 입력 게이트, 출력 게이트, 망각 게이트, 총 4개의 게이트가 있습니다. 과연 이 네 가지가 모두 필요할까요? 만약 하나를 제거하면 어떻게 될까요? 실제로 많은 실험이 LSTM 변형에 대해 이루어졌으며, GRU가 그 대표적인 예입니다 (GRU는 더 간단합니다).
특정 트릭을 사용하여 알고리즘을 작동시키는 경우, 이 트릭을 제거하고도 알고리즘이 견고한지 알아보는 것이 유용합니다. DeepMind의 본 DQN 논을 예로 들겠습니다. 해당 논문에서는 (1) 기준 네트워크를 주기적으로만 업데이트하고 (2) 온라인 업데이트 대신 재생 버퍼를 사용하는 방법을 보고합니다. 연구 관련 커뮤니티가 이 두 가지 트릭이 모두 필요하다는 것을 알면, 결과를 기반으로 연구를 발전시키는 데 매우 유용할 것 입니다.
알고리즘이 이전 작업의 수정된 버전이고 여러 차이점이 있다면, 연구자들은 어떤 부분이 핵심적인 차이를 만들어내는지 알고 싶어 할 것입니다. 이때도 ablation study가 진행됩니다.
간단하면 간단할 수록 더 좋습니다. 이는 더 간단한 모델 클래스에 대한 유도적인 선호입니다. 두 모델로 동일한 성능을 얻을 수 있다면, 더 간단한 모델을 선택하는 것이 좋습니다.

결론

Ablation Study는 딥러닝 모델의 성능에 가장 큰 영향을 미치는 요소를 파악하기 위해 필수적인 방법론입니다. 모델의 구성요소와 하이퍼파라미터를 단계적으로 제거하거나 변경하여 성능 변화를 관찰함으로써, 연구자들은 모델의 핵심적인 부분을 식별하고 최적화 할 수 있습니다. Ablation Study를 통해 중요한 통찰을 얻을 수 있습니다.

많은 딥러닝 논문에서 Ablation Study는 실험의 핵심 부분으로 자주 등장합니다. 이를 통해 모델의 견고성을 검증하고, 특정 구성 요소나 트릭의 필요성을 평가할 수 있습니다. 앞으로 논문을 읽을 때 Ablation Study의 개념과 맥락을 이해하면, 실험 결과와 모델 성능의 핵심 요인을 보다 명확히 파악할 수 있을 것입니다. 이로써 논문에 대한 이해도가 높아지고, 연구의 발전에 기여할 수 있는 유용한 정보를 얻을 수 있습니다.

References

[1] https://www.quora.com/In-the-context-of-deep-learning-what-is-an-ablation-study
[2] https://www.baeldung.com/cs/ml-ablation-study