앤트로픽의 AI 안전 연구원 에반 허빙거가 인공지능이 향후 10년 안에 모든 인간을 죽일 가능성이 10%를 넘는다고 개인적으로 전망했다.
허빙거는 엑스에 올린 게시물에서 현재 존재하는 AI 모델이 초래하는 위험은 낮다고 밝혔다. 그러나 향후 AI가 스스로 기술을 발전시키고 개선하는 수준에 이르면서 인류에 실존적 위험을 초래할 가능성을 우려한다고 설명했다.
허빙거는 AI 시스템이 구체적으로 어떤 방식으로 인류를 멸종시킬 수 있는지에 대해서는 설명하지 않았다.
이번 발언은 앤트로픽과 오픈AI가 초지능 개발을 서두르고 있다는 우려가 제기되는 가운데 나왔다.
앤트로픽을 최근 퇴사한 AI 연구원 제이컵 콕슨은 두 회사가 책임감 있게 행동하지 않고 있다고 주장했다. 그는 향후 초인적인 능력을 가진 AI 시스템이 등장해 광범위한 해킹을 수행하고 여러 분야를 빠르게 변화시키며 실제적인 권력과 자원을 확보할 수 있다고 주장했다.
허빙거는 콕슨의 발언에 동의하면서 앤트로픽이 최선을 다하고 있다고 평가하면서도 초지능의 목표와 인간의 가치가 일치하도록 만드는 문제에 대한 계획이 아직 없으며, 이를 해결할 수 있는 명확한 경로에도 올라서지 못했다고 밝혔다.
유엔의 AI 관련 자문을 맡고 있는 컴퓨터 과학자 데임 웬디 홀은 허빙거와 콕슨의 게시물에 충격을 받았다고 밝혔다. 다만 앤트로픽과 오픈AI가 기업공개를 앞두고 경쟁하는 상황에서 일부 발언이 홍보나 마케팅의 성격을 가질 가능성도 제기했다.
웬디 홀은 이러한 가치관을 가진 기업이라면 투자자들이 투자하지 않기를 바란다는 취지의 입장을 밝혔다.
콕슨의 퇴사 이후 대런 존스 전 재무부 수석장관은 앤디 번햄 총리에게 공개서한을 보내 AI의 안전한 개발을 위한 새로운 다국적 조약을 요구했다.
존스는 각국 정부가 초지능 개발과 관련한 조약의 방향을 마련하기 위해 협력해야 한다고 밝혔다. 또한 정부가 경고를 충분히 심각하게 받아들이지 않고 대응에 나서지 않는다면 AI 개발 속도로 인해 문제를 검토하기도 전에 문제가 발생할 수 있다고 경고했다.
한편 파이낸셜타임스는 앤트로픽이 최신 AI 모델을 영국 AI 안전연구소(AISI)에 제공하지 않았다고 보도했다. 앤트로픽은 자사 직원들의 게시물과 AISI 관련 상황에 대해 논평을 거부한 것으로 전해졌다.
영국 내각부 역시 해당 최신 모델이 AISI에 제공되지 않았는지에 대해서는 답변하지 않았으며, 앤트로픽을 포함한 업계 파트너들과 AI 모델을 더욱 안전하게 만들기 위해 긴밀하게 협력하고 있다고 밝혔다.
허빙거는 AI 정렬 분야에서 활동하고 있다. AI 정렬은 인간의 윤리적 가치와 원칙을 AI 시스템에 반영해 인간이 중요하게 여기는 방향으로 기술이 작동하도록 하는 것을 목표로 한다.
앤트로픽은 지난 8월 안전 보고서에서 AI 모델이 강력한 조직의 의도와 어긋나 시스템을 악용하거나 조작할 위험은 낮다고 평가했다. 또한 고도로 능력 있는 AI가 자동화된 연구개발을 수행해 AI가 시작한 치명적인 피해를 일으킬 가능성 역시 낮다고 평가했지만, 이 부분에 대해서는 이전보다 확신이 낮아졌다고 밝혔다.
앤트로픽은 당시 AI 연구개발의 가속화 가능성을 보여주는 초기 징후가 나타나고 있다고 설명했다.
AI 업계 주요 인사들은 수년 전부터 AI 안전 문제를 경고해왔다. 최근에는 AI 시스템의 발전 속도와 통제 가능성을 둘러싼 우려가 더욱 커지고 있으며, 오픈AI와 앤트로픽, 메타 등은 AI 도구가 수행한 해킹 사례를 공개하기도 했다.
오픈AI 최고과학자 야쿠프 파초츠키는 이달 초 AI 발전에 대해 극도의 주의가 필요하다며 인간이 미래에 대한 통제권을 유지할 수 있도록 추가적인 개입이 필요할 수 있다고 경고했다.
앤트로픽의 다리오 아모데이와 재러드 카플란 등 주요 인사들도 최근 AI 개발 속도를 늦춰야 한다는 주장을 내놓았다.
또한 AI 기업 종사자 약 1,300명이 서명한 공개서한에서는 미국 정부가 자동화된 AI 개발의 속도를 의도적으로 조절하기 위한 기술적·거버넌스 수단을 마련하는 국제적 노력에 동참해야 한다고 촉구했다.