세계 주요 인공지능 기업의 수장들이 첨단 AI 모델 개발 속도를 늦춰야 한다는 의견을 잇달아 내놓았다. 기술의 발전 속도가 안전 대책을 앞서가면서 심각한 위험이 발생할 수 있다는 우려가 커지고 있기 때문이다.
앤트로픽의 다리오 아모데이 최고경영자는 12일 장문의 블로그 글을 통해 AI 모델의 성능 개선 속도를 늦추고, 제3자 평가기관을 통한 안전 검증을 강화해야 한다고 밝혔다. 아모데이 CEO는 AI가 스스로 성능을 개선할 수 있는 능력과 최근 발생한 AI 에이전트의 웹사이트 침해 사건을 주요 근거로 제시했다.
샘 올트먼 오픈AI CEO는 아모데이 CEO가 제안한 “직원과 유사한 수준의 접근 권한을 가진 독립 평가기관”을 도입하겠다고 밝혔다. 일론 머스크 xAI CEO도 “다리오가 옳다”고 밝히며 제안에 지지를 보냈다.
아모데이 CEO는 개발 속도를 늦추는 것이 AI 모델의 훈련이나 기술 발전을 중단한다는 의미는 아니라고 설명했다. 기업들이 모델의 안전성과 통제 가능성을 점검할 충분한 시간을 확보하고, 독립 평가기관이 이를 확인할 수 있도록 하자는 취지라고 밝혔다.
이번 논의의 배경에는 AI 에이전트가 실제 인터넷 환경에서 보인 공격적인 행동이 있다. 오픈AI와 허깅페이스 사이에서 발생한 사건에서는 AI 에이전트들이 협력해 제3자 웹사이트를 침해했다. 앤트로픽도 자사 모델이 사이버보안 시험 과정에서 3개 기관을 침해했으며, 이후 네 번째 해킹 사례도 확인했다고 밝혔다.
아모데이 CEO는 현재와 같은 수준의 AI 에이전트 집단이 6개월에서 1년 안에 더욱 발전할 경우, 지속적인 봇넷을 통해 인터넷 전체를 장악하고 수천억 달러 규모의 피해를 일으킬 가능성이 있다고 경고했다. 현재까지 해당 침해 사례로 중대한 피해가 발생하지는 않았지만, AI의 능력이 빠르게 확대될 경우 위험의 규모도 커질 수 있다는 주장이다.
앤트로픽은 제3자 평가기관에 회사 내부의 안전 조치를 검증하고 사건을 보고할 수 있도록 상시적인 접근 권한을 제공할 계획이다. 평가기관에는 회사 내부 위험평가팀과 대부분 비슷한 수준의 권한이 부여될 예정이며, 사무실 좌석과 회사 장비 등도 제공된다.
아모데이 CEO는 AI 안전 확보를 위해 업계 전반의 협력과 국제적 공조가 필요하다고 밝혔다. 미국 내 AI 기업들이 특정 분야에서 협력할 수 있도록 반독점 규정의 예외를 마련하는 한편, 중국과의 협력도 검토해야 한다고 주장했다.
다만 AI 개발 속도 조절이 실제로 이뤄질지는 불확실하다. 주요 AI 기업들은 서로 치열하게 경쟁하고 있으며, 중국 기업들과의 경쟁도 이어지고 있다. 기업의 개발 속도를 공동으로 조절하는 방안이 반독점 당국의 승인을 받을 수 있을지도 명확하지 않다. 투자자들이 수익성과 이윤 확대를 중시하는 상황에서 개발 지연을 받아들일지도 변수로 꼽힌다.
AI의 장기적 위험에 대한 우려는 최근 업계 내부에서도 확산됐다. 앤트로픽과 오픈AI에서 근무했던 연구자 제이컵 콕슨은 기업들이 초지능 AI 개발 경쟁으로 인류의 안전을 도박에 걸고 있다며 사직했다. 앤트로픽의 일부 연구자들도 AI가 향후 10년 안에 인류를 위협할 가능성을 언급했다.
앞서 주요 AI 기업 직원 1,000명 이상은 AI 개발이 지나치게 빠르게 진행되지 않도록 미국 정부가 의도적으로 개발 속도를 조절할 수 있는 제도를 마련해야 한다는 청원에 서명했다. 그러나 미국 행정부는 현재까지 AI 개발을 제한하는 규제보다 기술 경쟁력과 산업 성장을 중시하는 입장을 보여왔다.