인공지능 모델의 성능을 비교하고 측정하기 위한 표준화된 데이터셋과 평가기준을 ‘벤치마크( Benchmark) ‘ 라고 합니다.
언어 이해와 생성, 추론 및 문제 해결, 이미지 처리, 음성 인식, 다국어 처리 등 다양한 영역에서의 성능을 측정할 수 있으며, 각 모델의 강점과 약점, 개선이 필요한 영역을 식별할 수 있습니다.
이는 AI 기술의 전반적인 발전 현황을 추적하고, 향후 연구 방향을 설정하는 데에도 중요한 지표가 됩니다.
하지만 AI 트렌드 보고서 HAI Index 2024에 따르면, 모델이 점점 커져가면서, 최근에 이르러서는 전통적인 벤치마크로는 모델이 최고 성능을 보여주고 있고, 통합된 새로운 벤치마크가 부족한 상황이라고 합니다.
이에 다양한 연구그룹이 왕좌를 차지하기 위해 앞다투어 벤치마크를 공개하고 있습니다.

VLM의 수학 추론 능력을 테스트하는 Dynamic Benchmark, DYNAMATH

시각-언어 모델(VLM)의 수학적 추론 능력은 최근 크게 발전했지만, 유사한 문제의 변형에서 일관된 실패를 보이는 한계가 있습니다.
이를 평가하기 위해 UC 버클리/일리노이 주립대학 공동 연구이 DYNAMATH라는 새로운 동적 벤치마크를 소개했습니다.
DYNAMATH는 501개의 고품질 시드 문제를 파이썬 프로그램으로 구현하여, 시각적 수치나 함수 그래프 등이 다른 다양한 변형 문제를 자동으로 생성할 수 있습니다.
14개의 최신 VLM을 대상으로 시드 문제당 최대 10번 변형된 5,010개의 생성된 문제로 평가한 결과, 모든 변형에서 정답을 맞추는 정확도가 평균 정확도보다 현저히 낮았습니다.
또한 모델들은 특정 변형에서 일관된 오답을 보였는데, 이는 단순한 무작위성이 아닌 체계적인 한계를 시사합니다.
이 연구는 VLM의 수학적 추론 견고성 향상의 필요성을 강조하며, 더 신뢰할 수 있는 모델 개발을 위한 중요한 통찰을 제공합니다.

DynaMath

A Dynamic Visual Benchmark for Evaluating Mathematical Reasoning Robustness of Vision Language Models

LLM이 모델을 평가할 수 있는 능력이 있을 지 테스트하는 Benchmark : JUDGEBENCH

모델의 평가, 비교 및 개선을 LLM을 통해 평가하는 방법이 인간 평가의 대안으로 부상하고 있으나, 이들의 신뢰성 검증은 미흡한 상황입니다.
LLM이 발전할수록 응답이 더 정교해지면서, 이를 평가하기 위한 더 강력한 평가자가 필요해졌습니다.
하지만 기존 Benchmark 는 인간 선호도와의 일치성에만 중점을 두어, 사실적·논리적 정확성이 중요한 과제들을 제대로 평가하지 못했습니다.
이에 UC 버클리/위싱턴 주립대학 공동 연구진은 LLM 기반 평가자를 객관적으로 평가할 수 있는 새로운 프레임워크인 ‘JudgeBench’를 제안했습니다.
JudgeBench는 지식, 추론, 수학, 코딩 등 다양한 영역에서 까다로운 응답 쌍을 평가합니다.
또한 기존 데이터셋을 객관적 정확성을 반영하는 선호도 레이블이 있는 응답 쌍으로 변환하는 혁신적인 파이프라인을 활용합니다.
평가 결과, GPT-4와 같은 강력한 모델들도 무작위 추측보다 약간 나은 수준의 성능만을 보여, JudgeBench가 더 발전된 LLM 기반 평가자들을 위한 신뢰할 수 있는 도전적인 벤치마크임이 입증되었습니다.

GitHub – ScalerLab/JudgeBench

Contribute to ScalerLab/JudgeBench development by creating an account on GitHub.

마치며

모델의 바른 성능평가를 위해서는 Benchmark 의 통합이 시급합니다! 이에 힘쓰는 여러 연구자들을 응원합니다.