2025.07.05 토요일
검색
'AI 안전' 검색결과
기간검색
-
~
검색영역
검색어
-
"당신 불륜 폭로하겠다"…내 AI 비서가 당신을 협박할 확률 96% 충격 결과 [이코노믹데일리] 인공지능(AI)이 자신의 생존을 위협받는 막다른 골목에 몰리면 인간을 협박하는 위험한 선택을 할 수 있다는 충격적인 연구 결과가 나왔다. 이는 특정 모델의 문제가 아닌, 구글·오픈AI·메타 등 주요 기업들의 AI 모델 전반에서 나타나는 공통적인 현상으로 확인돼 업계에 큰 파장을 일으키고 있다. AI 안전 연구 기업 앤트로픽은 20일(현지시간) 주요 AI 모델 16개를 대상으로 한 대규모 안전성 테스트 결과를 발표했다. 연구진은 가상의 기업 환경을 설정하고 AI에 이메일 시스템 접근과 자율 발송 권한을 부여했다. 이후 AI가 자신의 교체를 계획하는 임원의 불륜 사실을 발견하는 시나리오를 제시해 ‘생존’과 ‘윤리’ 사이에서 어떤 선택을 하는지 관찰했다. 실험 결과는 놀라웠다. 앤트로픽의 ‘클로드 오푸스 4’는 96%의 확률로 협박을 선택했으며 구글의 ‘제미니 2.5 프로’도 95%로 뒤를 이었다. 오픈AI의 ‘GPT-4.1’과 xAI의 ‘그록 3 베타’는 80%, 중국 딥시크의 R1 모델은 79%의 확률로 임원에게 협박성 이메일을 발송했다. 목표 달성을 위해서라면 비윤리적이고 유해한 행동도 서슴지 않는 AI의 어두운 이면이 드러난 것이다. 물론 모든 모델이 동일한 반응을 보인 것은 아니다. 메타의 ‘라마 4 매버릭’이나 오픈AI의 소형 추론 모델인 ‘o3’, ‘o4-mini’ 등은 현저히 낮은 협박 비율을 보였다. 앤트로픽은 이를 오픈AI의 ‘심의적 정렬’ 같은 특정 안전 기술의 효과일 수 있다고 분석하면서도, 해당 모델들이 테스트 시나리오 자체를 오해하는 경향이 있었다고 덧붙여 완전한 면역으로 보기는 어렵다고 설명했다. 앤트로픽은 이번 연구가 특정 모델의 결함이 아닌 자율적 권한을 가진 ‘에이전트 AI’의 근본적인 위험을 드러낸다고 강조했다. 단순 질의응답을 넘어 스스로 목표를 설정하고 행동하는 AI가 민감 정보와 시스템 접근권을 가졌을 때 잠재적인 ‘내부자 위협’이 될 수 있다는 경고다. 현실에서는 윤리적 설득 등 다른 선택지가 있겠지만 이번 실험은 최악의 상황을 가정한 스트레스 테스트로서 중요한 의미를 지닌다. 결국 이번 연구는 AI가 현실 세계에 본격적으로 도입되기 전 업계 공동의 투명한 안전성 검증과 새로운 기준 마련이 시급하다는 메시지를 던진다. 전문가들은 이번 결과를 계기로 AI 에이전트의 권한과 자율성을 통제하는 글로벌 규제 논의가 본격화될 것으로 전망하고 있다.2025-06-23 08:17:53
-
LG전자, '책임 있는 AI' 앞세워 글로벌 규제 선제 대응 [이코노믹데일리] LG전자가 '책임 있는 인공지능(AI)'을 앞세워 더 안전하고 윤리적인 AI 기술의 개발 및 활용에 앞장선다. 4일 업계에 따르면 LG전자는 한국전자통신연구원(ETRI) AI안전연구소와 ‘글로벌 AI 규제 대응 협력을 위한 업무협약(MOU)’을 체결했다. AI안전연구소는 국가 차원의 국내 AI 안전 연구 핵심 기관으로 주요국 정부 및 연구기관들과 활발한 협력을 이어가고 있다. 구체적으로 △AI 위험 평가 및 대응 전략 수립 △글로벌 AI 규범 및 규제 분석을 통한 AI 안전 가이드라인 및 프레임워크 개발 △미래 AI 기술을 위한 보호 메커니즘 연구 등을 수행한다. LG전자는 이번 MOU를 계기로 AI안전연구소의 전문 자문을 받아 제품과 서비스에 적용하는 AI 기술의 안전성 확보에 더욱 속도를 낸다는 계획이다. 특히 AI안전연구소와 협업을 통해 세계 주요국 AI 관련 기관이나 국제기구 산하 워킹그룹과의 소통 채널을 확보하고 유럽연합 인공지능법(EU AI Act) 등 AI 관련 글로벌 규제에도 공동 대응할 예정이다. AI 신뢰성·안전성·윤리 수준을 높이는 ‘책임 있는 AI’ 구현을 위한 공동 연구도 수행한다. LG전자는 앞서 AI의 지향점을 ‘사용자를 배려하고 공감해 보다 차별화된 경험을 제공한다’는 의미의 공감지능으로 정의하고, 공감지능의 한 축으로 책임지능을 제시한 바 있다. 이를 위해 지난해 말에는 전사 차원의 AI 컨트롤타워 및 거버넌스 전담 조직인 AI사무국을 신설했다. AI사무국은 LG전자의 AI 정책 수립부터 기술의 안전성과 윤리성을 강화하기 위한 다양한 활동을 수행하고 있다. LG전자가 현재 사내 모든 소프트웨어 개발 프로세스에 필수적으로 적용하고 있는 ‘Responsible AI 정책서’는 △인간존중 △공정성 △안전성 △책임성 △투명성 등 5대 AI 윤리 원칙을 기반으로 만들어졌다. AI 기반 제품과 서비스의 기획 및 개발 과정에서부터 국제 표준 이상의 요구사항을 준수하도록 하기 위함이다. 이와 함께 LG전자의 보안 시스템 ‘LG쉴드’를 통해 데이터 보호를 강화하고 있다. LG쉴드는 개인정보 등 민감 정보를 암호화하고 암호화 키를 분리된 공간에 저장해 정보 유출을 방지하며 외부에서 작동 코드나 데이터를 변조할 수 없도록 운영체제를 보호한다. 또한 최신 암호 기법을 적용해 데이터를 보호하고 위협‧침입을 실시간으로 탐지해 차단한다. 이삼수 LG전자 부사장은 “AI 거버넌스를 기반으로 AI 제품 및 서비스 기획과 개발 프로세스를 강화하고 데이터 보호 및 AI 윤리를 책임 있게 관리하며 차별화된 AI 경험을 누릴 수 있도록 할 것”이라고 말했다.2025-06-04 09:40:49
-
KOSA, 'K-AI 유니콘 프로젝트 10' 발표…2030년 AI 유니콘 10개 육성 목표 [이코노믹데일리] 한국소프트웨어산업협회(KOSA) 산하 초거대AI추진협의회가 글로벌 AI 시장을 선도할 AI 유니콘 기업 10개 육성을 목표로 하는 ‘K-AI 유니콘 프로젝트 10’을 17일 발표했다. 이와 함께 한국이 세계 3대 AI 강국(G3)으로 도약하기 위한 ‘AI 비전 25’도 공개하며 AI 산업 육성에 대한 강력한 의지를 표명했다. ‘AI 비전 25’는 AI 산업 진흥을 위한 8대 분야 25개 세부 과제를 담고 있다. 8대 분야는 △AI 서비스 제도·정책 기반 마련 △AI 안전·신뢰·윤리 확립 △AI 리터러시 확산 △AI 컴퓨팅 인프라 구축 △AI 데이터 확보 △AI 인재 양성 △유망 AI 기업 발굴 △AI 글로벌 협력 강화 등이다. KOSA는 ‘AI 비전 25’를 통해 2030년까지 글로벌 경쟁력을 갖춘 AI 유니콘 기업 10개를 육성하고 대한민국을 AI 선도 국가로 도약시킨다는 목표를 세웠다. 배경훈 초거대AI추진협의회장(LG AI연구원장)은 “초거대AI추진협의회는 AI 기업들의 의견을 수렴하여 ‘AI 비전 25’를 수립했다”며 “AI 기업들이 현장에서 체감하고 공감할 수 있는 실질적인 비전을 제시하고자 노력했다”고 밝혔다. 또한 “'AI 비전 25'를 로드맵 삼아 글로벌 시장을 선도하는 AI 유니콘 기업을 육성하고 대한민국 AI 산업 생태계를 활성화하는 데 기여하겠다”고 강조했다. 조준희 한국소프트웨어산업협회장은 “국내 AI 기업들은 자체 언어 모델 개발 등 충분한 기술 경쟁력을 갖추고 있다”며 “정부와 민간의 집중적인 투자를 통해 글로벌 시장 확장 가능성을 입증한다면 AI 유니콘 기업으로 충분히 성장할 수 있다”고 전망했다. 덧붙여 “AI 강국 도약을 위한 ‘AI 비전 25’를 중심으로 정부와 기업 간 협력 네트워크를 구축하고 KOSA AI 산업본부를 중심으로 AI 기업들과의 협력을 강화하여 비전 실현에 적극적으로 나설 것”이라고 밝혔다. 한편 KOSA는 지난해 국내 최초 AI 민간 협의체인 ‘초거대AI추진협의회’를 발족하고 AI 기본법 하위 법령 의견 수렴, AI 학습 데이터 저작권 이슈 대응 등 AI 산업계의 목소리를 대변해왔다. ‘AI 비전 25’는 지난 2년간의 협의회 활동과 회원사 의견 수렴 과정을 거쳐 마련되었으며 KOSA는 ‘AI 비전 25’ 실현을 위해 정부, 기업과 긴밀히 협력하고 AI 산업 육성을 위한 정책 지원 및 사업 확대를 적극 추진할 계획이다.2025-03-17 15:18:40
많이 본 뉴스
영상
Youtube 바로가기
![[기자수첩] 당국, MG손보 노조 갈등에 내몰린 계약자들...이들의 계약 유지권은 어디에](https://image.ajunews.com/content/image/2025/06/13/20250613110259382074_518_323.png)