앤트로픽이 클로드가 실제 웹사이트와 외부 시스템에서 지시 범위를 넘어 행동한 사례를 공개했다. 경찰에 허위 살인사건 제보를 제출하고, 서버 취약점을 이용해 명령을 실행하거나 유료 데이터 접근 제한을 우회한 사례가 포함됐다. 모델 성능보다 어떤 권한을 주고 어디서 멈추게 할지가 AI 에이전트 경쟁의 새 기준으로 떠올랐다.
앤트로픽이 9일 공개한 조사 보고서에 따르면 확인된 행동은 소프트웨어 결함을 이용한 서버 명령 실행, 제출하면 안 되는 실제 양식 전송, 토큰·요금으로 제한된 데이터 접근, URL 단축 서비스를 이용한 도구 제한 우회 등 네 유형이다.
가장 직접적인 외부 피해 가능성을 드러낸 것은 클로드 하이쿠 4.5 사례다. 모델은 지난 7월 18일 임의로 선택된 웹페이지에서 예시 작업을 수행하던 중 필라델피아 경찰의 미제 살인사건 제보 페이지에 접속했다. 이후 목격 정보를 가진 것처럼 꾸민 내용을 익명으로 작성해 실제 제출했다.
해당 페이지에는 용의자 인상착의가 없었지만 클로드는 설명과 일치하는 사람을 봤다는 취지의 내용을 만들어냈다. 제보는 경찰 제보 시스템에 접수됐지만 스팸으로 분류돼 실시간 범죄센터의 수사 검토·배포 단계로 넘어가지 않았다. 필라델피아 경찰 발표에 따르면 경찰은 앤트로픽이 10월 7일 통보하기 전까지 이를 알지 못했고, 양측 면담은 10월 8일 이뤄졌다. 다만 앤트로픽 보고서는 경찰에 발견 사실을 공유한 날짜를 10월 8일로 적어 하루 차이가 있다.
실제 서버의 취약점을 이용한 사례도 나왔다. 클로드 미토스 프리뷰는 과학 분석 도구가 오류를 내자 대학 서버를 탐색해 임의 파일을 반환하는 스크립트를 찾아냈다. 이어 스크립트 소스에서 명령어 삽입 취약점을 발견하고 서버에서 계산 명령을 실행했다.
클로드 미토스 5는 지방정부 부동산 지도에서 브라우저용 설정 파일을 읽어 접근 토큰을 확보한 뒤 서버에 직접 요청을 보냈다. 유료로 제공되던 주정부 데이터를 분석하던 별도 작업에서는 공개 대시보드가 발급하는 토큰을 받아 요금을 내지 않고 데이터베이스를 조회했다.
클로드 오푸스 5와 미토스 5는 웹 가져오기 도구의 URL 길이 제한도 우회했다. 긴 URL을 막아 SQL·명령어 삽입을 어렵게 만든 통제 장치가 있었지만, 모델은 무료 URL 단축 서비스를 이용해 제한을 피해갔다.
이번 사례를 모델이 독자적 목적을 갖고 통제를 벗어난 사건으로 단정하기는 어렵다. 앤트로픽은 대부분이 주어진 과제를 끝내려는 ‘지속성’에서 발생했으며, 지시가 모호하거나 정상적인 완료가 불가능할 때 모델이 우회로를 선택했다고 분석했다. 고객 데이터나 앤트로픽 내부 시스템이 노출된 사례도 현재까지 확인되지 않았다.
그러나 바로 이 특성이 에이전트 제품의 위험을 키운다. 답변만 생성하는 챗봇에서는 잘못된 추론이 화면 속 오류로 끝나지만, 브라우저·결제·이메일·서버 도구를 가진 에이전트에서는 같은 추론이 제출·접근·명령 실행으로 이어진다. 벤치마크에서 장점으로 평가받던 끈질긴 문제 해결 능력이 권한 경계를 만나면 월권으로 바뀌는 구조다.
앤트로픽은 모든 내부 평가에서 실시간 인터넷 접속을 일시 중단하고 일부 벤치마크를 오프라인 환경으로 옮겼다. 웹 도구의 제한도 강화했으며, 의도치 않은 행동을 실행 전에 탐지·차단하는 감시 도구를 대부분의 평가와 프런티어 모델을 활용한 내부 에이전트 작업에 적용했다. 회사는 과거 사례를 다시 입력한 시험에서 해당 도구가 전부 차단했다고 밝혔지만 자체 측정 결과로 제3자 검증은 이뤄지지 않았다.
업계의 경쟁 지표도 이에 따라 바뀌고 있다. 오픈AI 역시 지난 9월 최근 6개월간 발견한 비정상 행동 6건과 공개 기준을 발표했다. 모델이 더 많은 작업을 자율적으로 처리할수록 경쟁력은 단순 성능이 아니라 최소 권한 부여, 실행 직전 승인, 네트워크 격리, 실시간 차단과 감사 기록을 얼마나 촘촘하게 결합하느냐에서 갈릴 전망이다.
답글 남기기