오윤성 기자

앤트로픽이 액센츄어 평가팀에 직원과 비슷한 수준의 내부 접근권을 부여하는 ‘임베디드 평가’ 도입을 추진한다. 세부 운영 방식은 아직 협의 중이며, 평가팀은 모델 개발과 배포를 좌우하는 의사결정 과정을 추적할 예정이다.

앤트로픽과 액센츄어는 향후 5년간 AI 안전과 관련 평가 역량 구축에 각각 최소 10억 달러를 투자할 계획이라고 18일 밝혔다. 합계 최소 20억 달러로, 발표일 환율 기준 약 2조7700억원 규모다.

모델 출시 뒤 제한된 자료를 건네는 일회성 평가에서 벗어나 외부 인력이 개발 현장에서 지속적으로 검증하는 구조를 만들겠다는 구상이다. 다만 평가 비용을 피평가 기업인 앤트로픽이 직접 부담해 ‘독립성’을 어떻게 보장할지가 첫 시험대에 올랐다.

평가팀은 모델 성능과 위험을 공격자 관점에서 시험하는 레드티밍, 모델의 목표·행동이 개발 의도와 일치하는지 살피는 정렬 평가, 안전장치 우회 가능성 검증을 맡는다.

실무는 액센츄어가 지난 3월 인수한 영국 AI 전문기업 패컬티가 주도한다. 액센츄어의 인수 완료 발표에 따르면 패컬티는 정부·국방·의료·인프라 분야에서 AI 시스템을 개발해 왔으며, 코로나19 당시 영국 국민보건서비스의 조기경보 시스템 구축에도 참여했다.

앤트로픽은 평가팀이 직원과 비슷한 수준으로 내부에 접근해 모델 훈련 과정과 개발·배포를 좌우하는 의사결정을 살펴보게 된다고 설명했다. 임직원과 직접 대화하고 안전 약속 이행 여부와 조직의 사각지대를 점검하며, 사고와 위험 정보를 보고하는 역할도 구상하고 있다. 구체적인 자료 접근 범위와 보고 절차는 아직 확정되지 않았다.

이는 일반적인 ‘외부 벤치마크’보다 기업 감사에 가깝다. 외부 평가기관이 완성된 모델의 제한된 API만 시험하면 위험한 행동은 발견할 수 있어도, 그 문제가 어떤 훈련 과정과 의사결정에서 비롯됐는지는 확인하기 어렵다. 상주 방식은 비공개 모델과 내부 기록에 접근해 개발사의 주장 자체를 검증한다는 데 차이가 있다.

지난 1월 공개된 논문 ‘프런티어 AI 감사’는 신뢰할 수 있는 제3자 검증에는 비공개 정보에 대한 깊고 안전한 접근이 필요하다고 지적했다. 연구진은 감사 강도를 한시적인 시스템 감사인 AAL-1부터 기만 가능성까지 고려한 연속 검증인 AAL-4까지 네 단계로 구분했다. 앤트로픽의 구상이 어느 단계에 해당하는지는 아직 확인되지 않았다.

출발점은 최근 잇따른 안전 사고다. 앤트로픽은 지난 7월 클로드 모델이 평가 과정에서 실제 컴퓨터 시스템에 무단 접근한 사건 세 건을 공개했다. 회사는 비영리 평가기관 METR와 독립 검토를 추진하는 한편 내부 정렬·보안 절차를 손질해 왔다.

다리오 아모데이 앤트로픽 최고경영자는 지난 12일 공개한 ‘프런티어의 속도를 조절해야 한다’는 글에서 외부 평가자에게 책상과 출입증, 회사 노트북을 제공하는 직원급 접근 방식을 제안했다. 오픈AI의 샘 올트먼 최고경영자도 같은 방식을 따르겠다고 밝혔다고 AP통신은 보도했다. 액센츄어와의 협력 발표는 이 선언 뒤 나온 첫 구체적인 실행 계획이다.

핵심 쟁점은 ‘상주’가 곧 ‘독립’을 뜻하지는 않는다는 점이다. 앤트로픽은 평가팀이 어떤 내부 자료까지 열람하는지, 평가 결과를 누구에게 보고하는지, 모델 출시 중단을 요구할 권한이 있는지 공개하지 않았다. 중대한 결함이 발견됐을 때 회사 동의 없이 외부에 알릴 수 있는지도 아직 확인되지 않았다.

재원 구조도 이해상충을 남긴다. 앤트로픽은 액센츄어의 평가 비용을 직접 부담한다고 밝혔다. 동시에 액센츄어는 클로드 기반 기업용 시스템을 판매하는 앤트로픽의 대형 사업 파트너다. 앤트로픽의 공식 발표에 따르면 액센츄어는 직원 약 3만명을 클로드 전문가로 교육할 예정이며, 두 회사는 고객사의 AI 도입과 공동 영업을 확대하고 있다. 평가 대상과 상업적 이해관계를 공유하는 셈이다.

앤트로픽도 이 문제를 인정했다. 회사는 상주 평가자의 정보 접근 범위와 보고 방식에 관한 공통 표준이 없고, 독립 평가 비용을 누가 부담할지도 정립되지 않았다고 설명했다. 장기적으로는 개발사 한 곳의 돈에 의존하지 않는 공동기금이나 정부 재원을 선호한다는 입장이다.

이번 발표의 ‘20억 달러’는 감사 계약금이 아니다. 두 회사가 5년간 AI 안전과 관련 역량 구축에 각각 최소 10억 달러를 투자하겠다는 계획이다. 인력과 평가 인프라, 안전 연구 등에 얼마씩 배분되는지는 공개되지 않았다. 평가팀 규모와 업무 개시일도 발표문에 포함되지 않았다.

앤트로픽은 계약을 비독점으로 설계했다. 자체 재원을 사용하는 METR를 비롯한 비영리 평가기관과도 상주 평가 방식을 시험하고, 앞으로 다른 평가 파트너를 추가할 계획이다. 액센츄어 역시 다른 AI 개발사를 같은 방식으로 평가할 수 있다.

성패는 투자액보다 평가자가 불편한 결론을 공개할 수 있느냐에 달렸다. 출시 일정과 안전 판단이 충돌했을 때 원자료 접근권과 보고권이 유지되고, 계약 종료 뒤에도 사고를 공개할 수 있어야 상주 평가는 홍보가 아닌 감사가 된다. 앤트로픽의 이번 선택은 AI 기업의 자율 안전 선언이 실제 검증 제도로 넘어갈 수 있는지를 가르는 첫 사례가 될 전망이다.