기사 검색
경제·금융
인공지능 안전성 시험 중 오류로 실제 시스템 해킹…앤스로픽 발표
앤스로픽 AI 모델들이 보안 테스트 중 잘못된 환경 설정으로 인해 실제 시스템 3곳에 접근해 해킹을 시도했다. 신화스 5, 오푸스 4.7 등 최고 수준 모델들이 약한 비밀번호 악용 등 기초적 해킹 기법을 사용했다. 앤스로픽은 소프트웨어 취약점이 아닌 테스팅 환경 오류이며 추가 보안장치로 방지 가능했다고 밝혔다.
일반
전 오픈AI 안전 담당자 ‘AI는 원전처럼’
전 오픈AI 안전 담당자가 AI를 원전처럼 신중히 다뤄야 한다고 주장했다. 오픈AI의 시행착오식 개발 방식이 위험을 키울 수 있다는 우려가 제기됐다. 원전 수준의 예비 장치 등 안전 운영 체계 필요성이 강조됐다.
경제·금융
오픈AI·앤트로픽 CEO, 유엔 안보리서 AI 안전 강조…국제적 안전 기준 촉구
샘 올트먼 오픈AI CEO와 다리오 아모데이 앤트로픽 CEO가 9월 23일 유엔 안전보장이사회에서 각각 인공지능 안전 문제에 대해 발언했습니다. 올트먼 CEO는 AI가 인간의 통제 아래 있어야 하며, 민주적 제도를 통해 AI의 발전 방향을 결정해야 한다고 밝혔습니다. 아모데이 CEO는 AI가 적절하게 관리되지 않을 경우 인류에 위험이 될 수 있다고 경고하며, 생화학무기 개발에 AI를 사용하는 것을 금지하는 국제협약과 전 세계적인 AI 시험 기준 마련을 제안했습니다.
AI일반속보
중국 국가안전부장, AI 위험 경고…“공산당 통치에 대한 위협 커져”
천이신 중국 국가안전부장이 인공지능이 중국 공산당 통치에 초래할 위험을 경고하며 정부의 감독과 당의 통제를 강화해야 한다고 주장했다. 그는 AI 딥페이크를 활용한 선전전, 핵심 인프라에 대한 사이버공격, 해외 AI 모델 이용에 따른 데이터 유출, 군사 경쟁 가속화를 주요 위협으로 지목했다. 천 부장은 미국의 AI 모델인 클로드 미토스와 GPT-5.5-사이버를 구체적으로 언급하며 외국 정보기관이 AI를 대규모 첩보 활동에 활용할 수 있다고 경고했다.
AI외교·국제
미·중, 9월 중순 첫 AI 안전 공식 양자회담 추진…정상회담 성과로 주목
미국과 중국이 9월 중순 도널드 트럼프 대통령의 2기 임기 이후 처음으로 인공지능(AI) 안전을 주제로 한 공식 양자회담을 개최하는 방안을 준비하고 있는 것으로 전해졌다. 미국은 AI에 의한 사이버 공격을 공동으로 모니터링하고 양국 AI 연구소가 안전 관련 정보를 공유하는 방안을 논의할 것을 제안할 것으로 알려졌다. 중국은 이번 대화를 9월 24일 예정된 미·중 정상회담의 중요한 성과 가운데 하나로 보고 있는 것으로 전해졌다.
AI경제·금융
허사비스 경고, 안전조치 미흡 땐 AI 보안사고
데미스 허사비스가 안전조치 미흡 시 2년 내 대형 AI 보안사고를 경고했다. 최근 사고를 ‘조기 경고사격’으로 규정하며 취약성 드러났다고 봤다. 모델 출시 전 샌드박스 격리 환경에서 안전성 검증을 강화해야 한다고 주문했다.
경제·금융
나델라 '슈퍼지능' 즉시 중단 안전장치 강조
사티아 나델라 MS CEO가 슈퍼지능(SI) 위험 방지를 위한 ‘즉시 중단’ 안전장치를 강조했다. AI를 내부자 위험으로 보고 내부자 관점의 통제와 외부 통제 권한을 분리하는 신뢰 체계를 제안했다. 후속 구체화 여부는 추가 확인이 필요하다.
외교·국제
스콧 베선트 'AI 안전 가속' 강조
스콧 베선트 미국 재무장관이 AI 안전을 위한 업계 자율 조치를 강조했다. 정부는 ‘안전한 발전 가속화’를 목표로 하지만 중국과는 모델의 금지 사항만 합의할 방침으로 알려졌다. 자율 규제 중심 접근이 주도권 전략과 맞물릴지 관심이 모인다.
외교·국제
미국·러시아, UN 자율무기 문서에서 안전장치 제거 추진
미국과 러시아 외교관들이 9월 초 제네바 유엔 협상에서 자율무기 문서의 여러 안전장치 제거를 추진했다. 제거 대상은 AI 무기의 예측 가능성·신뢰성 요구와 윤리 검토, 인간 승인 조항이었다. 두 국의 법률가 팀이 다른 국가들의 2배 규모로 빠르게 문서를 수정했다.
AI경제·금융
동부건설, 드론·AI로 건설현장 안전관리 고도화
동부건설이 공간 AI 전문기업과 협업해 드론·AI 기반 스마트 안전관리 시스템 개발 2027년부터 2200억 원 이상 현장에 의무 적용하기로 결정 2029년까지 전 현장으로 확대할 계획
AI외교·국제
해리 왕자 부부 자선단체, 인공지능 딥페이크 규제 법안 통과 촉구
해리 왕자-메건 부부의 자선단체 아르케웰 필랜트로피스가 미국 의회에 AI 딥페이크 규제 법안 통과를 촉구했다. 단체는 빅테크 기업들이 아동 안전 조치에 대해 보복하고 있다고 비판했다. 현재 여러 관련 법안이 심사 대기 중인 상황이다.
AI경제·금융
유럽의 AI 안전 규제, 미국 폭주 AI와 중국 야심을 제어할 수 있을까
EU가 AI 안전 규제 강화에 나선 가운데 첫 폭주 AI 에이전트 사례가 발생했다. 미국과 중국의 AI 패권 경쟁이 심화되면서 유럽 규제의 글로벌 영향력이 제한될 우려가 제기된다. AI 안전과 기술 혁신의 균형, 그리고 국제 협력이 핵심 과제로 부상했다.
경제·금융
킨텍스, 마이스 업계 최초 'AI 안전관리 인증' 획득
킨텍스가 마이스 업계 최초로 AI 안전관리 인증을 획득했다. 인공지능을 활용한 안전관리 역량이 공식 인정받은 것이다. AI HYPER MICE HUB 비전 추진의 첫 번째 성과로 평가된다.
AI일반
AI ‘지능 폭발’ 경고…통제 실패 우려
AI 개발 자동화로 지능 폭발 가능성이 제기됐다. 주요 AI 연구자 22명은 통제 실패 시 인류 멸망 우려를 경고했다. 기업 대상 상주 감시관 배치 같은 강력한 통제 장치 마련을 촉구했다.
일반
AI 기업 수장들, 유엔 안보리에 규제 촉구…미국은 글로벌 통제 반대
주요 인공지능 기업 최고경영자들이 인공지능이 인류에 위험을 초래할 수 있다며 유엔 안전보장이사회에 국제적 안전장치 마련을 촉구했다. 샘 올트먼과 다리오 아모데이는 인공지능의 통제 상실 가능성을 경고하며 국제적 공통 기준과 규제가 필요하다고 주장했다. 미국은 인공지능 개발을 제한하는 새로운 글로벌 거버넌스 체계에 반대하며 기술 발전의 혜택을 동맹 및 협력국과 공유해야 한다고 밝혔다.
AI외교·국제
호주 총리, 트럼프 행정부 ‘검열’ 비판 반박…AI 규제 놓고 미국과 입장차
앤서니 앨버니지 호주 총리가 호주의 디지털 돌봄 의무 법안에 대한 트럼프 행정부의 ‘검열’ 비판을 반박했다. 미국 정부는 호주의 법안이 표현의 자유를 침해할 수 있다며 미국 소셜미디어 기업을 적용 대상에서 제외할 것을 요구했다. 트럼프 대통령은 인공지능을 ‘슈퍼 인텔리전스’로 부르겠다고 밝히며 글로벌 AI 안전장치 도입에 반대했고, 호주는 인간의 통제가 필요하다는 입장을 유지했다.
AI일반
미국 성인 63% 'AI 통제 불능 시 인류 멸망 가능'
미국 성인 10명 중 6명 이상이 통제 불능 AI로 인한 인류 멸망 가능성을 우려 해리스 지지자 70%, 트럼프 지지자 61%가 AI 위험성 경고 AI 개발 속도 조절에 대해 초당적 공감대 형성
AI일반속보
중국 정보 수장, AI 급속 발전 경고…“정치·제도·이념 안보 직접 위협”
중국 국가안전부장 천이신이 인공지능(AI)의 급속한 발전이 중국의 정치적 안정과 핵심 인프라를 위협할 수 있다고 경고했다. 천이신은 적대 세력이 AI를 악용할 경우 중국의 정치·제도·이념 안보를 직접 위협할 수 있다고 밝혔다. 중국의 최고 정보 당국자가 AI 발전에 따른 국가 안보 위험을 공개적으로 경고했다.
AI일반속보
앤트로픽 CEO, AI 개발 속도 조절 촉구…생물테러 악용 위험 경고
다리오 아모데이 앤트로픽 최고경영자가 인공지능 개발 속도를 늦춰야 한다고 주장했다. 그는 고도화된 AI 모델이 생물무기 개발에 악용될 수 있다며 중대한 위험을 경고했다. 아모데이 CEO는 AI 발전에 맞춰 안전 대책도 함께 강화해야 한다고 강조했다.
AI일반
앤스로픽 “AI 모델, 무기 개발·병원체 연구·반체제 인사 감시에 악용 시도”
앤스로픽이 범죄자와 국가 지원 조직, 스파이웨어 업체, 과학자 등이 자사의 인공지능 모델을 무기 개발과 병원체 연구, 반체제 인사 감시에 활용하려 했다고 밝혔다. 앤스로픽은 생물학 연구와 관련한 5건의 사례에서 연구자들이 안전장치를 우회하거나 연구 목적을 숨기려 했다고 설명했다. 회사는 악용에 연루된 계정을 차단했으며, 인공지능 악용 위험에 대응하기 위해 업계와 정부가 협력해야 한다고 강조했다.
AI