2024.11.22 금요일
검색
'AI 안전성' 검색결과
기간검색
-
~
검색영역
검색어
-
정부, AI안전연구소 설립 및 10조원 클라우드 시장 육성 계획 발표 [이코노믹데일리] 정부가 인공지능(AI) 생태계 경쟁에서 앞서기 위해 클라우드 시장을 10조 원 규모로 키우고 AI 안전연구소를 설립해 AI 안전성을 연구하는 등 관련 인프라를 강화할 계획이다. 이를 통해 글로벌 AI 안전 기준을 선도하고 AI 시대에 대응하는 기술·인프라 경쟁력을 확보한다는 목표다. 과학기술정보통신부(이하 과기정통부)는 AI와 클라우드 투자에 대한 세액공제를 확대하고 민간 클라우드 도입을 촉진해 국내 클라우드 시장을 2027년까지 10조 원 규모로 육성할 계획을 18일 밝혔다. 공공부문에서도 민간 클라우드 사용을 장려하고 정보시스템 구축 시 민간 클라우드와 서비스형 소프트웨어(SaaS)를 우선 고려하도록 촉진할 예정이다. AI와 클라우드 기술을 결합해 글로벌 경쟁력이 강화되고 있는 가운데 국내 클라우드 활용률은 여전히 낮은 상황이다. 이에 정부는 민간 부문의 투자 촉진을 위해 혁신 펀드 조성과 함께 클라우드 인력 양성을 강화할 계획이다. 장기철 과기정통부 인터넷진흥과장은 "세액공제 관련 세부 사항이 거의 확정되었다"고 언급했다. ◆ AI안전연구소 출범…국제 협력 강화 AI 안전 문제를 연구하고 국제적 협력을 강화하기 위해 AI안전연구소가 오는 11월 판교에 문을 연다. AI의 위험성을 평가하고 국제 기준에 맞춰 연구를 진행할 예정인 이 연구소는 한국전자통신연구원(ETRI) 산하에 설립된다. AI안전연구소는 글로벌 AI 안전 거버넌스 네트워크에 참여해 국제적 협력을 추진하고 AI 통제력 상실, AI모델의 보안 강화, 딥페이크 탐지 등 첨단 AI 위험에 대비하는 연구개발(R&D)을 수행할 계획이다. 내달 미국 샌프란시스코에서 열리는 국제 AI안전연구소 네트워크 행사에서 본격적인 역할을 시작한다. 남철기 과기정통부 AI기반정책과장은 "연구소는 초기 10명 규모로 시작해 내년까지 30명으로 확대할 것"이라며 "AI 안전성 확보를 위해 다양한 연구와 국제 협력을 지속할 예정"이라고 밝혔다. ◆ 중장기 목표...세계적 AI안전 연구 선도 AI안전연구소는 AI안전 정책·평가·기술 분야의 3개 연구실로 구성되며 AI 안전성 평가 도구와 데이터셋 구축, 위험 완화 방안을 마련하는 등 AI위험을 관리하는 연구를 수행할 계획이다. 또한 AI기술이 경제·사회 전반에 미치는 영향을 분석하고 대응책을 마련해 안전한 AI 활용을 보장할 방침이다. 과기정통부는 AI안전연구소를 통해 AI 안전 정책을 고도화하고 국제적 협력을 강화해 세계적인 AI안전 연구기관으로 발전시키는 것을 목표로 하고 있다. 송상훈 과기정통부 정보통신정책실장은 "AI 안전성 확보를 위한 연구소 설립은 글로벌 AI 경쟁에서 중요한 역할을 할 것"이라고 강조했다.2024-10-18 18:03:14
-
네이버, 하이퍼클로바X로 이미지·음성 처리 기술 공개 [이코노믹데일리] 네이버가 오는 27일 자사의 대화형 AI 에이전트 클로바X(CLOVA X)에 시각 정보 처리 기능을 새롭게 추가한다고 발표했다. 이번 업데이트로 사용자는 클로바X 대화창에 이미지를 업로드하고, 해당 이미지에서 추출된 정보를 바탕으로 AI와 대화를 나눌 수 있게 된다. 네이버는 하이퍼클로바X(HyperCLOVA X)를 텍스트뿐만 아니라 이미지와 음성까지 동시에 처리할 수 있는 '멀티모달(Multimodal)' AI로 고도화하며, 생성형 AI 기술의 경쟁력을 강화하고 있다. 이번 업데이트를 통해 클로바X는 사진 속 상황을 묘사하거나, 표·그래프 등 복잡한 이미지 정보를 분석하는 능력을 갖추게 된다. 예를 들어, 사용자가 업로드한 수학 도형 문제를 AI가 이해하고, 풀이하는 것도 가능해진다. 이러한 기능 확장은 클로바X의 활용 범위를 넓혀, 개인의 생산성을 크게 향상시킬 것으로 기대된다. 네이버는 하이퍼클로바X의 우수한 문서 처리 및 문자 인식 기술과 다양한 지식을 갖춘 거대 언어 모델(LLM)을 결합해 보다 정확하고 신뢰성 있는 서비스를 제공할 계획이다. 네이버는 이미 대한민국 초·중·고등학교 검정고시 문제 1,480개를 AI에 이미지 형태로 입력해 84%의 정답률을 기록하며, 오픈AI GPT-4의 78%를 능가하는 성과를 보였다. 네이버는 또한 20일, 자사 기술 블로그를 통해 하이퍼클로바X 기반의 음성 멀티모달 기술도 공개했다. 기존 음성 인식과 음성 합성 기술을 뛰어넘어, LLM의 문맥 이해 능력을 활용한 자연스러운 대화가 가능해졌다. 이 기술은 발음 정확도와 감정 표현까지 더해져 사용자와의 대화 경험을 더욱 향상시킨다. 네이버는 이미 클로바노트, 클로바 케어콜, 클로바더빙 등 다양한 음성 AI 서비스로 기술력을 입증했으며, 이번 멀티모달 LLM 기술로 더 편리하고 진보된 서비스를 제공할 계획이다. 실시간 음성 번역, 언어 학습, 상담 등 여러 분야에서 활용 가능성을 제시한 바 있다. 성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 "하이퍼클로바X는 이미지와 음성까지 이해하는 거대 시각 언어 모델로 발전하고 있다"며 "이를 통해 네이버의 다양한 서비스에 새로운 사용자 가치를 창출하고, 기업용 AI 솔루션으로도 제공할 것"이라고 밝혔다. 한편, 네이버는 하이퍼클로바X의 멀티모달 기능을 고도화하는 과정에서도 'AI 안전성'을 최우선으로 고려하고 있다. 네이버는 지난 6월 발표한 '네이버 ASF(AI Safety Framework)'를 바탕으로 AI 시스템의 잠재적 위험을 평가하고, 특히 음성 AI 기술의 경우 다각적인 검토를 통해 안전한 서비스를 제공할 계획이다.2024-08-22 08:29:54
-
네이버, AI 워터마크 기술 표준 'C2PA' 국내 최초 가입 [이코노믹데일리] 네이버가 인공지능(AI) 워터마크 기술 표준을 구축한 '콘텐츠 출처 및 진위 확인을 위한 연합(C2PA)'에 국내 최초로 가입하며 글로벌 AI 안전 리더십을 강화했다. 15일 정보통신기술(ICT) 업계에 따르면 네이버는 지난 13일 'C2PA'(Coalition for Content Provenance and Authenticity)에 가입했다. 이는 안전한 AI 생태계 구축을 위한 중요한 발걸음이다. C2PA는 2021년 설립된 글로벌 연합체로, 구글, 마이크로소프트(MS), 인텔 등 90여 개 기업이 회원으로 참여하고 있다. C2PA는 AI 생성 이미지와 디지털 콘텐츠 출처 인증에 활용되는 워터마크 기술 등 콘텐츠 출처 기술 표준을 개발하여 글로벌 확산을 이끌고 있다. 오픈 AI는 이미지 생성 AI 도구인 '달리3'(DALL-E 3)에 C2PA 워터마크 기술을 도입하여 신뢰성을 강화했다. 네이버는 AI 생성 콘텐츠의 악용 방지를 위해 C2PA 회원사인 글로벌 기업들과 워터마크 삽입 기술 최적화 등 기술 표준 연구를 공동으로 진행할 계획이다. 또한, C2PA 기술 규약을 네이버 서비스에 적용하기 위한 논의도 이어갈 방침이다. 네이버는 그동안 AI 안전 논의에 힘을 기울여 왔다. 지난해 11월, 영국 정부 주최의 첫 번째 'AI 정상회의'에 참석하여 AI 안전성 연구와 '레드팀' 운영 관련 협력을 논의했다. 올해 5월 열린 'AI 서울 정상회의'에서는 다양한 사회 문화적 맥락을 이해하는 AI 모델들의 공존을 강조했다. 최근 네이버는 구글, 인텔, 메타 등 글로벌 빅테크가 참여하는 개방형 컨소시엄 'ML커먼스(Commons)'에서 AI 안전 벤치마크 구축 작업에 기여했다. 또한, AI가 생성한 코드 데이터에 워터마크를 삽입하면서도 코드의 품질은 보존하는 선택적 워터마킹 기술 'SWEET'을 제안해 글로벌 자연어처리 학회 'ACL 2024'에 채택되었다. 이외에도 네이버는 한국의 문화적 맥락을 반영한 한국어 중심의 편향성 측정 벤치마크 데이터셋 'KoBBQ'를 제안한 연구와 초대규모 언어모델이 제공하는 답변의 신뢰도를 예측할 수 있는 모델을 제안한 연구 등을 세계적 권위의 AI 학회에서 발표했다. 네이버 관계자는 "국내 최초로 AI 안전성 실천 체계인 '네이버 ASF(AI Safety Framework)'를 발표한 데 이어 C2PA에 가입하며 안전한 AI를 위한 글로벌 리더로 자리매김했다"고 말했다.2024-07-15 08:11:51
-
네이버, AI 안전성 실천 체계 '네이버 ASF' 발표… "소버린 AI로 안전한 생태계 구축" [이코노믹데일리] 네이버(대표이사 최수연)는 17일 인공지능(AI) 시스템의 안전성을 실천하는 체계 '네이버 ASF(인공지능 세이프티 프레임워크)'를 발표했다. 이는 네이버가 AI 시스템을 개발하고 배포하는 과정의 모든 단계에서 잠재적 위험을 인식하고 평가하며 관리하기 위한 대응 체계다. 네이버 ASF는 AI 시스템이 초래할 수 있는 위험을 '통제력 상실 위험'과 '악용 위험'으로 구분하고, 이에 대응하는 구체적인 방안을 마련했다는 점에서 차별화된다. 네이버는 인간이 AI 시스템을 제어할 수 없게 되는 '통제력 상실 위험'을 대비하기 위해 'AI 위험 평가 스케일'을 마련했다. 이를 통해 AI 시스템의 위험성을 주기적으로 평가하고 관리한다. 특히, 현존 최고 성능의 AI 시스템을 '프런티어 AI'로 정의하고, 이에 해당하는 시스템은 3개월마다 위험 평가를 실시한다. 또한, 시스템 성능이 기존보다 6배 이상 급격히 향상된 경우에는 추가 평가를 진행한다. 네이버 ASF는 '악용 위험'에 대해 'AI 위험 평가 매트릭스'를 적용한다. 이는 AI 시스템의 사용 목적과 안전 조치의 필요성 정도에 따라 위험 관리 방식을 차별화하는 방식이다. 예를 들어, 생화학 물질 개발과 같은 특수한 목적으로 사용되는 AI 시스템은 특별한 자격을 갖춘 사용자에게만 제공함으로써 위험을 완화한다. 또한, 사용 목적과 관계없이 안전 조치의 필요성이 높은 AI 시스템은 추가적인 기술적·정책적 안전 조치를 통해 위험이 완화될 때까지는 배포하지 않는다. 네이버는 한국 외 다른 지역의 정부 및 기업과 협력하여 '소버린 AI'를 공동 개발하고, 특정 문화권에서 발생 가능한 AI 시스템의 위험을 식별하며, 위험 수준을 측정하는 벤치마크를 문화권별로 구축하여 '문화적 다양성'을 반영한 AI 안전 체계를 구축할 계획이다. 네이버는 이미 한국어를 기반으로 구축한 AI 안전성 강화 학습 데이터셋을 글로벌 시장으로 확장해나가는 경험을 가지고 있다. 지난해 'ACL 2023'에서 네이버는 종교, 도덕 등 사회적으로 첨예한 문제에 대한 AI의 편향적 발화를 완화하기 위한 새로운 대규모 한국어 데이터셋을 제안한 연구를 발표했다. 최수연 네이버 대표는 "네이버는 '하이퍼클로바X'라는 소버린 AI 개발을 통해 문화적, 지정학적 상황과 지역적 이해가 AI 성능뿐만 아니라 안전성에도 영향을 미친다는 것을 입증했다"며 "향후 글로벌 시장에서도 소버린 AI를 개발하면서 네이버 ASF를 지속적으로 개선해 나갈 것"이라고 말했다. 또한, "이를 통해 다양한 지역의 문화와 가치를 반영하는 다수의 AI 모델이 안전하게 사용되고 공존하는 지속 가능한 AI 생태계 구축에 네이버가 적극적으로 기여할 것"이라고 밝혔다. 하정우 네이버 퓨처 AI 센터장은 "네이버는 국내외 유수 연구기관 및 전문가들과 협력하며 AI 안전성 관련 선행 연구와 정책 분야에서 다양한 성과를 거두며 안전하고 지속 가능한 AI 생태계를 만드는 데 앞장서왔다"며 "네이버 ASF는 생성형 AI 시대에 네이버가 다시 한 번 선제적으로 수립한 안전성 검증 프로토콜로, 이러한 앞선 경험을 글로벌 커뮤니티에도 공유하며 AI 안전성 분야 리더십을 확보해 나갈 것"이라고 밝혔다. 네이버 ASF는 국내 최초의 AI 안전성 실천 체계라는 점에서 의의가 크다. 또한, '문화적 다양성'을 반영한 AI 안전 체계 구축을 추진한다는 점에서 차별화된다. 이는 네이버가 해외 시장 진출에도 적극적으로 나설 것임을 보여주는 지표이기도 하다. 네이버의 AI 안전성 노력은 국내외에서 긍정적인 평가를 받고 있다. 특히, 네이버가 제안한 'AI 위험 평가 매트릭스'는 AI 시스템의 위험성을 다각적으로 평가하고 관리하는 데 유용한 도구로 평가받고 있다. 또한, 네이버가 추진하는 '소버린 AI' 개발은 특정 국가나 기업에 의존하지 않고 자율적으로 AI 기술을 개발하고 활용하려는 노력으로 주목받고 있다. 네이버는 앞으로도 네이버 ASF를 지속적으로 개선하고 보완해 나갈 계획이다. 또한, 국내외 유수 연구기관 및 기업과 협력하여 AI 안전성 연구를 활성화하고, 국제적인 AI 안전성 기준 마련에도 참여할 계획이다.2024-06-17 10:11:22
-
AI 안전성 확립·지속가능 발전 논의...에너지·환경 등 부작용 대응 방안 모색 [이코노믹데일리] 한국과학기술연구원(KIST)에서 22일 오후 열린 'AI 서울 정상회의' 장관 세션에 21개국 장관급 인사와 국내외 주요 기업 19곳 고위 관계자 등이 대거 참석했다. 이종호 과기정통부 장관과 미셸 도넬란 영국 과학혁신기술부 장관이 공동의장을 맡아 'AI 안전성 확립 역량 강화'와 '지속 가능한 AI 발전 촉진'을 주제로 논의를 이끌었다. 이 장관은 개회사에서 "지난해 영국에서 만난 이후 6개월 만에 생성형 AI는 우리 예상을 뛰어넘는 속도로 발전했고, 일상과 경제, 사회 전반에 새로운 혁신을 일으키고 있다"고 말했다. 이어 "동시에 AI 위험과 부작용에 대한 우려도 커지며 국제사회는 관련 규범 정립을 위한 노력을 본격화하고 있다"며 "전날 정상급 합의문 '서울 선언'에서 제시된 비전을 토대로 이번 세션에서 AI 안전과 지속가능 발전을 논의하겠다"고 덧붙였다. 도넬란 장관은 "AI 발달 속도가 매우 빨라 우리도 더 빨리 행동해 안전성을 담보해야 한다"고 강조했다. 그러면서 "사회 전반이 AI 리스크에 대한 회복탄력성을 갖춰야 한다"며 "과학계 리더들이 구체적 활동계획을 내놓기를 기대한다"고 말했다. 1세션에서는 주요국 AI 안전 연구소 설립 현황을 공유하고 글로벌 공조 방안을 논의했다. 또한 '국제 AI 과학보고서'를 바탕으로 현재와 가까운 미래의 AI 위험요인을 진단하고 안전성 강화 방안을 모색했다. 2세션에서는 AI로 인한 에너지·환경·일자리 등 부작용에 대한 회복탄력성 확보 방안이 논의됐다. 특히 AI 운영 시 막대한 전력 소모에 대응할 필요성이 높아지면서 저전력 반도체 등 한국의 AI 반도체 비전을 중심으로 새 글로벌 의제가 제기됐다. 이날 장관 세션에는 공동의장 외에도 세스 센터 미국 국무부 핵심·신흥기술 부특사, 슈테판 슈노르 독일 연방디지털교통부 장관, 니시다 시오지 일본 총무성 차관 등 20개국 고위인사가 참여했다. 유엔에서는 아만딥 싱 길 사무총장 기술특사가 자리했다. 해외 기업에서는 에이든 고메즈 코히어 대표이사, 앤드루 잭슨 코어42 최고책임자, 크리스티나 몽고메리 IBM 최고신뢰임원, 잭 클라크 앤트로픽 공동설립자, 나타샤 크램튼 마이크로소프트 최고AI책임자, 롭 셔먼 메타 부사장 겸 최고개인정보보호책임자 등이 참석했다. 국내에서는 전경훈 삼성전자 사장, 유영상 SK텔레콤 대표, 배경훈 LG AI연구원장 등 주요 기업 관계자들이 자리를 함께했다. 학계와 시민사회에서도 카네기 국제평화기금 아서 넬슨 부이사관, 휴먼인텔리전스 대표 루먼 차우더리, 카이스트 오혜연 교수, 서울대 이경무 교수 등이 참가했다.2024-05-22 16:08:56
많이 본 뉴스
영상
Youtube 바로가기
![[데스크칼럼] AI 시대, 개발자의 미래와 생존 전략](https://image.ajunews.com/content/image/2024/10/02/20241002130756978212_518_323.jpg)