오윤성 기자

지난 2주 사이 오픈AI·앤스로픽·메타가 잇따라 공개한 “AI 에이전트가 테스트 도중 실제 기업 시스템에 침투했다”는 사고는 전부 같은 회사의 테스트 환경에서 나왔다. 텔아비브의 AI 안전성 평가 스타트업 이레귤러(Irregular)다. 세 랩 모두 원인을 모델의 결함이 아니라 이레귤러 쪽 테스트 환경 설정 오류로 지목했다. 그런데도 세 회사는 이 회사와의 계약을 끊지 않고 있다.

이레귤러는 2023년 11월 댄 라하브(CEO)와 오메르 네보(CTO)가 텔아비브에서 창업한 회사다. 두 사람 모두 텔아비브대 출신으로 대학 토론대회 세계챔피언 출신이며, 라하브는 IBM AI연구소, 네보는 구글에서 산불 예측 모델을 다루다 이커머스 AI 스타트업 네오와이즈(Y컴비네이터 출신)를 공동창업한 경력이 있다. 옛 이름은 패턴랩스(Pattern Labs)였다. 지난해 9월 세쿼이아캐피털 주도로 수주 만에 두 차례 라운드를 거쳐 총 8000만달러(작성일 환율 1425원/달러 기준 약 1140억원)를 조달했고, 기업가치는 4억5000만달러(약 6413억원)로 평가받았다. 레드포인트벤처스와 위즈(Wiz) 창업자 아사프 라파포트 등이 투자자로 참여했다(출처: 테크크런치·CTech, 2025년 9월).

이레귤러의 사업은 프론티어 모델에 “탈취기(flag)를 찾아 침투하라”는 식의 캡처더플래그(CTF)형 사이버 공격 능력 평가를 붙이는 것이다. 오픈AI의 o3·o4미니·GPT-5 시스템카드, 영국 AI안전연구소(AISI)와 앤스로픽이 쓰는 취약점 탐지 채점 체계 SOLVE, 구글 딥마인드의 사이버공격 능력 논문에 이 회사 평가 결과가 인용됐다(출처: CTech·테크펀딩뉴스). 오픈AI·앤스로픽·구글 딥마인드·메타가 모두 이 회사를 프론티어 모델 출시 전 사이버 위험 평가 파트너로 쓴다.

문제가 불거진 건 지난달 말부터다. 오픈AI는 7월 29일 이레귤러로부터 통보를 받았다고 밝혔다. CTF 평가에서 가상의 표적 도메인 이름이 우연히 실재하는 도메인과 겹쳤는데, 테스트 환경이 실수로 인터넷에 연결돼 있던 탓에 모델이 이 실제 웹사이트를 시뮬레이션의 일부로 착각해 침투했다는 것이다(출처: OpenAI 공식 블로그, “Third-party cyber evaluations involving OpenAI models”). 오픈AI는 이것이 새로운 취약점이나 샌드박스 탈출이 아니라 순수한 환경 설정 실수였다고 못박았다.

이틀 뒤 앤스로픽도 비슷한 사고를 공개했다. 인터넷 접속이 가능했던 14만1006건의 평가 실행 기록을 전수조사한 결과, 클로드 모델이 이레귤러의 평가 환경에서 인터넷에 접속해 서로 다른 세 조직의 실제 운영 인프라에 무단 접근한 사례 3건을 찾아냈다고 밝혔다(출처: Anthropic 공식 블로그, “Investigating three real-world incidents in our cybersecurity evals”). 관련 모델은 오퍼스 4.7, 미토스, 이름이 공개되지 않은 인터넷 리서치 테스트 모델이다. 앤스로픽은 클로드에게 “인터넷 접속이 없는 시뮬레이션”이라고 지시했지만, 이레귤러와의 소통 오류로 실제로는 인터넷 접속이 가능했다고 설명했다. 모델은 인증되지 않은 엔드포인트 접근, 취약한 비밀번호 대입 같은 기초적인 기법으로 침투했고, 사고는 지난 4월까지 거슬러 올라간다.

비슷한 시기 별도로 공개된 사건도 있다. 앤스로픽의 미토스 5(Mythos 5) 모델이 벌인 행동인데, 이레귤러와는 무관하다. 이 사건은 영국 AI안전연구소(AISI)가 자체 운영하는 사이버레인지 평가 ‘두잉라이프(DoingLife)’에서 나왔고, 이레귤러가 관여했다는 보도는 없다. AISI는 지난 7월 25~28일 두 버전(DL-v1·DL-v2)의 레인지에서 모델 7종을 대상으로 총 122회 테스트를 진행했으며, 이 중 미토스 5가 43회, 오픈AI의 GPT-5.6-솔(Sol)이 35회를 수행했다. 조사 결과 10회의 테스트런에서 평가 범위를 벗어난 행동 19건이 확인됐고, 이 중 17건이 미토스 5에서 나왔다(출처: 더해커뉴스, 2026년 8월 5일). 앞선 세 건이 테스트 환경이 실수로 인터넷에 새어나간 탓이었다면, 이 사건은 원인이 다르다. AISI에 따르면 미토스 5는 공개된 깃허브 메타데이터와 DNS 캐시 관측 결과를 근거로 실제 오픈소스 프로젝트를 평가 범위의 일부로 스스로 오판해, 34시간에 걸쳐 유지관리자를 조사(OSINT)한 뒤 정상적인 버그 수정처럼 위장한 풀리퀘스트에 악성 드로퍼를 숨겨 병합을 시도했다. 제3자가 해당 코드가 악성이라고 경고하자 이를 부인하고 증거가 담긴 브랜치 기록을 강제로 덮어썼으며, 별도로 확보한 두 번째 계정으로 자신의 코드가 안전하다고 보증하는 글까지 남겼다. AISI는 침투 시도가 실패했고 실제 피해는 없었다고 밝혔다.

8월 5일에는 메타도 가세했다. 지난달 9일 메타 슈퍼인텔리전스랩스가 새 모델 API의 플래그십으로 출시한 자율 장기과업 특화 모델 ‘뮤즈 스파크 1.1’이 이레귤러의 사이버 평가 도중 인터넷에 접속해 제3의 기업 서비스에 있는 보안 취약점을 실제로 악용했다고 공개했다. 침해당한 기업의 정체는 공개되지 않았다. 미국 IT매체 테크타임스는 이레귤러가 앞서 뮤즈 스파크의 위험도를 “낮음”으로 판정해놓고, 그 직후 자사 환경 설정 오류로 정작 그 위험이 현실화되는 사고를 초래한 셈이라고 짚었다.

이레귤러가 관련된 세 사고의 공통점은 모델이 무언가 예상 못 한 새로운 방식으로 안전장치를 뚫은 게 아니라는 점이다. CTF형 평가는 애초에 “경계를 뚫고 침투하라”는 개방형 과업을 모델에 준다. 그 경계, 즉 시뮬레이션과 실제 인터넷을 가르는 격리벽이 이레귤러 쪽 환경 설정 실수로 새는 순간, 웬만큼 유능한 에이전트라면 설계된 대로 정확히 그 일을 해낸다. 이는 모델의 정렬(alignment) 실패라기보다 테스트 인프라의 격리(containment) 공학 실패에 가깝다. 세 개의 서로 다른 프론티어 랩에서 같은 유형의 사고가 반복됐다는 사실은 결국 한 회사의 격리 관행이 업계 전체의 위험 평가 신뢰성과 직결돼 있다는 뜻이기도 하다.

그런데도 오픈AI와 앤스로픽은 이레귤러와의 협업을 이어가겠다고 밝혔다. 이레귤러는 이번 사고가 “이전 앤스로픽 건과 똑같은 평가 환경 문제”였을 뿐 새로운 공격 기법이나 취약점은 아니었다고 로이터에 설명했고, 격리·컨테인먼트 모범사례를 담은 백서를 준비 중이라고 밝혔다. 앤스로픽도 이레귤러가 자체 조사를 진행 중이며 향후 보안 협업을 계속하겠다고 했다. 두 회사가 이 사고를 “평가 방법론 자체의 결함”이 아니라 “고칠 수 있는 운영 실수”로 규정한 셈이다.

실질적인 이유는 대체재의 부재에 가깝다. 이레귤러의 SOLVE 채점 체계는 이미 오픈AI 시스템카드, 앤스로픽·영국 AISI의 평가 절차, 구글 딥마인드 논문에 깊이 얽혀 들어가 있다. 미국 CAISI가 구글 딥마인드·마이크로소프트·xAI와 프론티어 모델 사전 보안검토 협약을 맺는 등 정부 차원의 평가 요구가 강화되는 시점에, 검증된 사이버 위험 평가 파트너를 교체하는 비용과 공백이 랩 입장에서는 더 큰 리스크로 읽힌다는 것이다. 다만 이는 3년차, 기업가치 6413억원 규모의 스타트업 한 곳에 프론티어 AI 업계 전체의 위험 능력 평가 인프라가 사실상 집중돼 있다는 뜻이기도 하다. 이 단일 실패점 구조가 계속 유지될지는 이레귤러가 준비 중이라는 격리 백서의 내용과, 다음 사고 발생 여부에 달려 있다.