오윤성 기자

앤트로픽이 액센츄어와 프런티어 인공지능 모델의 안전성을 검증하는 ‘내재형 평가’ 협력에 나선다. 평가자가 임직원에 준하는 접근 권한으로 모델 훈련 과정과 안전 의사결정을 들여다보는 실험이다. 구체적인 접근 방식과 운영 조건은 아직 조율 중이다.

양사는 향후 5년간 관련 평가 역량 구축에 각각 최소 10억달러를 투자할 것으로 예상했다. 합계 20억달러로, 발표일인 18일 환율 기준 약 2조7700억원이다. 이는 평가 계약대금이 아니라 양사가 각자 투입할 것으로 예상한 투자액이다.

앤트로픽은 18일 액센츄어와 ‘내재형 평가’ 협력에 들어간다고 밝혔다. 액센츄어가 지난 3월 인수한 영국 AI 기업 패컬티가 평가팀을 이끈다.

평가팀은 모델 성능과 위험을 공격자 관점에서 시험하는 레드티밍을 비롯해 정렬 평가, 안전장치 검증을 맡는다. 기존 외부 평가가 출시 전 제공된 모델을 제한된 환경에서 시험하는 방식이었다면, 내재형 평가자는 모델이 훈련되는 과정과 배포 결정, 내부 안전 절차까지 지속해서 확인한다.

앤트로픽은 내재형 평가자가 직원과 비슷한 수준으로 시스템·데이터·내부 인력에 접근하는 구상을 제시했다. 모델의 결과물뿐 아니라 어떤 위험이 발견됐고 회사가 이를 어떻게 처리했는지까지 살펴보겠다는 것이다. 다만 액센츄어 평가팀에 부여될 구체적인 접근 권한은 공개되지 않았다.

이번 협력은 다리오 아모데이 앤트로픽 최고경영자가 지난 12일 제안한 상주형 외부 평가 제도를 실행에 옮기기 위한 첫 단계다. 프런티어 AI 개발 속도를 조절하려면 기업 밖 평가자가 일회성 벤치마크를 넘어 연구·개발 현장을 계속 감시해야 한다는 주장이다.

문제는 평가 비용을 피평가 기업이 직접 부담한다는 점이다. 앤트로픽은 이번 패컬티·액센츄어 평가 비용을 자사가 지급한다고 명시했다. 평가자가 계약 유지 여부를 결정하는 고객의 안전정책을 비판해야 하는 구조다.

액센츄어가 이미 앤트로픽의 판매·도입 파트너라는 점도 독립성 논란을 키운다. 양사는 지난해 12월 ‘액센츄어 앤트로픽 비즈니스 그룹’을 만들고 액센츄어 인력 약 3만명을 클로드 전문가로 양성하기로 했다. 액센츄어는 기업 고객의 클로드 도입을 확대하면서 동시에 클로드의 안전성을 평가하게 된다.

앤트로픽도 이 한계를 인정했다. 현재 평가자가 어떤 정보에 접근하고 결과를 어떤 방식으로 공개해야 하는지에 관한 공통 기준이 없으며, 독립 평가 비용을 누가 부담할지도 정해지지 않았다고 밝혔다.

회사가 지난 6월 공개한 첨단 AI 프레임워크는 정부 또는 업계 공동기금이 평가 비용을 부담해 특정 개발사로부터 재정적으로 독립하도록 하고, 평가기관이 자금·보수와 이해충돌, 지분 보유, 이사회 참여, 고용 관계를 공개하는 방식을 제안했다. 평가가 느슨한 기관을 기업이 골라 쓰는 ‘평가기관 쇼핑’을 막기 위해 고위험 사례에서는 사전 기준에 따라 높은 평가를 받은 기관을 무작위 배정하는 방안도 제시했다.

이런 원칙이 이번 액센츄어 계약에 실제 반영됐는지는 공개되지 않았다. 아모데이는 지난 12일 제안문에서 평가자가 위험 수준과 사고, 안전 관행, 접근이 허용되거나 거부된 범위에 관한 핵심 결과를 공개할 권리를 가져야 하며, 앤트로픽은 편집권을 행사할 수 없다고 밝혔다. 삭제는 보안·법률·상업상 민감정보와 제3자 기밀에 한정하고, 불리한 결과라는 이유로 가릴 수 없다는 조건도 제시했다. 그러나 앤트로픽의 18일 발표문은 정보 접근과 결과 보고 방식이 아직 조율 중이라고 밝혔을 뿐, 이 조건들이 액센츄어 평가에 적용되는지는 명시하지 않았다. 양사가 밝힌 20억달러 역시 세부 집행 항목과 양사 사이에 지급되는 금액이 공개되지 않아 독립성의 강도를 투자 규모만으로 판단하기 어렵다.

앤트로픽은 이를 보완하기 위해 협력을 비독점으로 운영한다. 비영리 AI 평가기관 METR 등과는 자체 재원으로 참여하는 별도 실험을 논의하고 있으며, 앞으로 수주 안에 추가 평가기관을 발표할 계획이다. 액센츄어 역시 다른 AI 개발사를 평가할 수 있다.

상주형 평가는 외부에서 완성된 모델만 시험하던 안전감사를 개발 전 과정의 감독으로 확장한다는 데 의미가 있다. 다만 접근권한이 넓어져도 보고서 공개권과 재정 독립성이 보장되지 않으면 ‘내부를 볼 수 있는 컨설턴트’에 머물 수 있다.

이번 실험의 성패는 평가자가 얼마나 깊이 들어가느냐보다 불리한 결론도 계약 관계와 무관하게 공개할 수 있느냐에 달렸다. 앤트로픽과 액센츄어의 협력은 프런티어 AI 내재형 평가의 첫 대형 사례인 동시에, 개발사가 비용을 대는 감시자를 독립기관으로 부를 수 있는지 시험하는 선례가 됐다.