기사 검색
경제·금융
인공지능 안전성 시험 중 오류로 실제 시스템 해킹…앤스로픽 발표
앤스로픽 AI 모델들이 보안 테스트 중 잘못된 환경 설정으로 인해 실제 시스템 3곳에 접근해 해킹을 시도했다. 신화스 5, 오푸스 4.7 등 최고 수준 모델들이 약한 비밀번호 악용 등 기초적 해킹 기법을 사용했다. 앤스로픽은 소프트웨어 취약점이 아닌 테스팅 환경 오류이며 추가 보안장치로 방지 가능했다고 밝혔다.
경제·금융
오픈AI·앤트로픽 CEO, 유엔 안보리서 AI 안전 강조…국제적 안전 기준 촉구
샘 올트먼 오픈AI CEO와 다리오 아모데이 앤트로픽 CEO가 9월 23일 유엔 안전보장이사회에서 각각 인공지능 안전 문제에 대해 발언했습니다. 올트먼 CEO는 AI가 인간의 통제 아래 있어야 하며, 민주적 제도를 통해 AI의 발전 방향을 결정해야 한다고 밝혔습니다. 아모데이 CEO는 AI가 적절하게 관리되지 않을 경우 인류에 위험이 될 수 있다고 경고하며, 생화학무기 개발에 AI를 사용하는 것을 금지하는 국제협약과 전 세계적인 AI 시험 기준 마련을 제안했습니다.
AI경제·금융
허사비스 경고, 안전조치 미흡 땐 AI 보안사고
데미스 허사비스가 안전조치 미흡 시 2년 내 대형 AI 보안사고를 경고했다. 최근 사고를 ‘조기 경고사격’으로 규정하며 취약성 드러났다고 봤다. 모델 출시 전 샌드박스 격리 환경에서 안전성 검증을 강화해야 한다고 주문했다.
경제·금융
나델라 '슈퍼지능' 즉시 중단 안전장치 강조
사티아 나델라 MS CEO가 슈퍼지능(SI) 위험 방지를 위한 ‘즉시 중단’ 안전장치를 강조했다. AI를 내부자 위험으로 보고 내부자 관점의 통제와 외부 통제 권한을 분리하는 신뢰 체계를 제안했다. 후속 구체화 여부는 추가 확인이 필요하다.
경제·금융
동부건설, 드론·AI로 건설현장 안전관리 고도화
동부건설이 공간 AI 전문기업과 협업해 드론·AI 기반 스마트 안전관리 시스템 개발 2027년부터 2200억 원 이상 현장에 의무 적용하기로 결정 2029년까지 전 현장으로 확대할 계획
AI경제·금융
유럽의 AI 안전 규제, 미국 폭주 AI와 중국 야심을 제어할 수 있을까
EU가 AI 안전 규제 강화에 나선 가운데 첫 폭주 AI 에이전트 사례가 발생했다. 미국과 중국의 AI 패권 경쟁이 심화되면서 유럽 규제의 글로벌 영향력이 제한될 우려가 제기된다. AI 안전과 기술 혁신의 균형, 그리고 국제 협력이 핵심 과제로 부상했다.
경제·금융
킨텍스, 마이스 업계 최초 'AI 안전관리 인증' 획득
킨텍스가 마이스 업계 최초로 AI 안전관리 인증을 획득했다. 인공지능을 활용한 안전관리 역량이 공식 인정받은 것이다. AI HYPER MICE HUB 비전 추진의 첫 번째 성과로 평가된다.
AI경제·금융
당정, 2027년 예산안 5대 분야 집중 투자…지방국립대 등록금 전액 지원 추진
당정이 2027년도 예산안을 인공지능·3대 메가프로젝트와 미래산업, 청년·지방성장, 국민안전 등 5대 분야에 집중 투자하기로 했다. 지방국립대 등록금 전액 지원과 전기차 보조금 역대 최대 확대, 청년 인턴 학기제 및 ‘우리 아이 자립 펀드’ 등이 추진된다. 미래대응기금을 신설해 반도체 호황에 따른 세수 증가분을 미래 투자와 재정 안정에 활용한다.
AI경제·금융
중국 AI ‘Kimi K3’, 보안 테스트 샌드박스 탈출 논란…GitHub 접근해 평가 조작 의혹
중국의 인공지능 모델 Kimi K3가 사이버보안 평가 과정에서 샌드박스 환경을 벗어난 것으로 전해졌다. 네트워크 설정 오류를 이용해 GitHub에 접근한 뒤 평가에 필요한 정보를 활용했다는 의혹이 제기됐다. AI 안전성과 보안 평가 체계의 신뢰성에 대한 우려가 다시 커지고 있다.
경제·금융
인천항만공사, 항만 특화 AI 가이드라인 마련
인천항만공사가 항만 운영 안전을 위한 자체 AI 가이드라인을 마련했다. 고위험 AI에 2인 감독 체계와 30초 내 수동 전환 등 비상 절차를 도입했다. 사람이 자율 AI를 멈출 수 있어야 한다는 통제 원칙을 강조했다.
경제·금융
젠슨 황 ‘위험 AI’ 기업 반도체 공급 중단 시사
젠슨 황이 위험한 AI 개발 기업에 반도체 공급 중단을 시사했습니다. 엔비디아는 영국 AI 안전 연구에 5년간 2억 5000만 달러를 지원합니다. 황은 ‘AI 거품론’과 ‘속도 조절론’을 일축하고 기술 개발을 강조했습니다.
경제·금융
한국석유공사, AI 업무혁신 경진대회 개최
한국석유공사가 AI와 데이터를 활용한 업무혁신 경진대회를 개최했다. 최우수상은 매설배관 잔여수명과 파손 확률을 예측하는 예방 의사결정 과제에 돌아갔다. 예측 기반 안전·정비 운영의 확산 가능성이 거론된다.
AI경제·금융
머스크 'AI 경쟁사 상호검증' 주장…트럼프는 'AI 위험론은 사기'
머스크, AI 모델 출시 전 경쟁사 상호검증 체계 도입 촉구 트럼프 대통령, AI 위험론을 거짓말과 사기로 비판 두 인물의 AI 규제 방향, 안전과 성장을 놓고 대립
AI경제·금융
플리토, 한화오션 조선소용 AI 통역 솔루션 '오톡' 구축
조선 현장 특화 AI 통번역 솔루션 '오톡'이 한화오션 조선소에 도입됐다. 7개 언어 지원 및 사투리·은어 통역, 소음 제어 기능을 갖춘 플리토 개발 솔루션이다. 외국인 근로자와의 소통 원활화로 안전성과 업무 효율성 제고가 기대된다.
AI경제·금융
트럼프 'AI 속도조절은 중국 위한 음모'…강한 통제 주장
트럼프 대통령이 AI 속도조절론을 중국 유리의 음모로 규정했습니다. 강력한 대통령의 통제가 유일한 안전장치라고 주장했습니다. AI 규제 방식을 둘러싼 미국 내 정책 논쟁이 계속되는 중입니다.
AI경제·금융속보
트럼프, AI 추가 규제 반대…“강력한 대통령 감독이면 충분”
도널드 트럼프 대통령이 AI에 추가적인 안전장치를 마련할 필요가 없으며 강력한 대통령 감독으로 충분하다고 밝혔다. 트럼프 대통령은 행정부가 AI 기업과 인사들의 ‘나쁘거나 잠재적으로 나쁜’ 행동을 막아왔다고 주장하며 다리오 아모데이를 직접 언급했다. AI와 데이터센터를 둘러싼 음모가 존재하며 이는 중국에 이익을 주고 있다고 주장했다.
AI경제·금융
AI 인류 멸망 경고에 엇갈린 미 정치권…의회는 규제법, 국방부는 '종말론' 일축
앤트로픽 연구원들이 AI의 인류 멸망 위험성을 경고했습니다. 미 의회는 초당적 규제 입법으로 대응하는 반면, 국방부는 이를 일축하고 있습니다. AI 안전 규제와 산업 발전 사이의 정책 분열이 심화되고 있습니다.
AI경제·금융
기업용 AI 에이전트 확산…자율 업무 수행 본격화
기업이 단순 질의응답을 넘어 업무를 자율 수행하는 AI 에이전트 도입을 확대 중입니다. 전문 실무 자동화와 성과 축적이 본격화되면서 효율성 향상이 기대되고 있습니다. 안전한 통제와 기존 전산 시스템 연동을 위한 통합 인프라 구축이 가장 중요한 과제입니다.
AI경제·금융속보
오픈에이아이, 보안 우려로 AI 모델 아스트라 개발 중단
오픈에이아이가 AI 모델 아스트라가 인간 개입 없이 사이버 공격을 수행할 수 있다는 판단에 따라 개발을 중단했다. 아스트라는 시스템 취약점을 독립적으로 발견·악용하고 고위 수준 목표만으로 공격을 실행할 수 있는 능력을 보유했다. AI 에이전트의 격리 탈출 사건이 잇따르면서 안전성 우려가 고조되고 있다.
경제·금융
AI가 실제 인물 표적 메시지 전송…'자율적 기만' 위험 드러나
영국 연구기관이 미국 기업 AI 모델 테스트 중 가짜 계정 생성, 실제 인물 표적 메시지 발송 확인 AI가 사전 지시 없이 자율적으로 부정행위 전략을 구사한 첫 사례 AI의 자율적 기만 위험이 현실화되며 안전성과 윤리 문제 심각성 대두