2025.04.04 금요일
검색
'AI 신뢰성' 검색결과
기간검색
-
~
검색영역
검색어
-
![[MWC 2025] 셀렉트스타, MWC25서 글로벌 AI 레드팀 챌린지 성료… AI 보안 중요성 각인](https://image.ajunews.com//content/image/2025/03/07/20250307173233631322.jpeg)
셀렉트스타, MWC25서 '글로벌 AI 레드팀 챌린지' 성료… AI 보안 중요성 '각인' [이코노믹데일리] AI 스타트업 셀렉트스타가 스페인 바르셀로나에서 열린 ‘MWC25’에서 ‘글로벌 AI 레드팀 챌린지’를 성공적으로 마무리했다고 7일 밝혔다. 지난 5일(현지 시각) 피라 그란 비아 전시장에서 개최된 이번 대회는 세계 최초의 글로벌 규모로 진행되어 다양한 국적의 참가자들이 열띤 경쟁을 펼치며 생성형 AI 보안에 대한 높은 관심을 입증했다. 이번 ‘글로벌 AI 레드팀 챌린지’는 AI 모델의 보안과 안정성을 강조하고 생성형 AI 서비스의 신뢰성 검증 필요성을 국제적으로 알리기 위해 마련되었다. 참가자들은 셀렉트스타가 구축한 레드팀 플랫폼을 통해 LLM(대규모언어모델)에 프롬프트 공격을 시도, 유해하거나 차별적인 결과, 시스템 오용 사례 등을 찾아내고 검증하는 방식으로 진행되었다. GSMA(세계이동통신사업자연합회)와 공동 주최사로 참여한 셀렉트스타는 레드팀 플랫폼 운영, 문제 출제, 응답 검수 등 핵심적인 역할을 수행했다. 사전 신청자 335명 중 중국, 일본, 싱가포르, 카타르, 튀르키예, 미국, 영국, 스페인, 독일, 스위스 등 다양한 국적의 100여 명의 참가자가 현장에서 AI 모델에 대한 공격 기술을 겨뤘다. 특히 이번 챌린지에는 LG유플러스의 엑사원 기반 소형 언어모델 익시젠, 아랍에미리트 TelecomGPT, 말레이시아 AIngineer 등 다국적 LLM이 출제 모델로 활용돼 이목을 끌었다. 최종 우승은 생성형 AI 오류를 가장 많이 발견한 싱가포르 투자 전문가 투 무젠 토미시에게 돌아갔다. 셀렉트스타는 GSMA, 후원사 e&와 협력하여 내년 MWC에서 더욱 확대된 규모의 레드팀 챌린지를 개최하기로 합의했다. 셀렉트스타는 이번 행사에서 레드팀 챌린지 개최와 더불어 자체 개발한 생성형 AI 신뢰성 검증 자동화 솔루션 ‘다투모 이밸(DATUMO Eval)’을 최초로 공개하며 참관객들의 호평을 받았다. ‘다투모 이밸’은 생성형 AI 서비스의 신뢰도를 자동 분석 및 검증하는 솔루션으로 글로벌 기업들의 문의가 잇따르는 등 해외 시장에서의 높은 잠재력을 확인했다는 평가다. 황민영 셀렉트스타 부대표는 “MWC25에서 글로벌 레드팀 챌린지 최초 개최와 ‘다투모 이밸’ 솔루션 해외 시장 첫선을 통해 AI 모델 신뢰성 검증이 업계의 중요한 과제임을 재확인했다”며 “셀렉트스타의 기술력과 시장 경쟁력을 바탕으로 솔루션 고도화에 힘쓰고 글로벌 시장 확장에 박차를 가할 것”이라고 밝혔다. 한편 셀렉트스타의 ‘다투모 이밸’은 국내 최초 생성형 AI 신뢰성 검증 자동화 솔루션으로, AI 서비스 운영 중 발생 가능한 오류와 위험성을 사전 식별 및 대응하도록 지원한다. 셀렉트스타는 이번 MWC25 성과를 토대로 글로벌 AI 전문가 및 파트너들과 협력 네트워크를 확장하고 다양한 산업 분야에 솔루션 적용 기회를 적극 모색할 계획이다.2025-03-07 17:33:25
-
앤트로픽, 韓 AI 시장 '정조준'…첫 '한국 빌더 서밋' 19일 개최 [이코노믹데일리] 미국 유력 AI 기업 앤트로픽이 한국 AI 시장 공략을 본격화한다. 앤트로픽은 국내 AI 스타트업 콕스웨이브와 공동으로 오는 3월 19일 서울 시그니엘에서 첫 국내 행사인 ‘한국 빌더 서밋(Korea Builder Summit)’을 개최한다고 발표했다. 이번 행사는 AI 개발자, 기술 리더, 미디어 관계자를 대상으로 앤트로픽의 최첨단 AI 기술 연구 성과를 국내에 소개하는 자리로 마련된다. 앤트로픽은 ‘챗GPT’ 개발사 오픈AI의 주요 경쟁 기업으로 AI 어시스턴트 ‘클로드(Claude)’ 시리즈를 주력 제품으로 내세우고 있다. 특히 클로드는 외산 AI임에도 불구하고 뛰어난 한국어 처리 능력과 코딩 실력을 인정받으며 국내 시장에서도 높은 관심을 받고 있다. 앤트로픽은 생성형 AI 초기부터 ‘안전과 성능의 조화’를 강조하며 AI 신뢰성을 중시하는 기업 시장(B2B)에서 빠르게 영향력을 확대하고 있다. 최근에는 약 5조 원 규모의 대규모 자금 조달을 마무리 단계에 접어들었으며 기업 가치는 약 88조 원에 달하는 것으로 알려졌다. 앤트로픽 AI 기술의 핵심은 ‘헌법적 AI(Constitutional AI) 프레임워크’에 있다. 이는 앤트로픽이 추구하는 ‘각 문화권의 특성을 존중하는 책임 중심의 AI 기술 혁신’이라는 철학을 반영한 것이다. 이러한 앤트로픽의 AI 개발 방향은 콕스웨이브의 주력 솔루션 ‘얼라인AI’가 지향하는 ‘신뢰할 수 있는 AI 개발 및 운영’ 가치와도 깊이 맞닿아 있다. 콕스웨이브는 지난해 9월 AI 안전성 및 AI 정렬 분야 전문가인 카이스트 이기민 교수를 어드바이저로 영입하며 AI 신뢰성 강화에 힘쓰고 있다. 이번 ‘한국 빌더 서밋’에는 앤트로픽의 핵심 경영진이 대거 방한한다. 인스타그램 공동 창업자이자 앤트로픽 최고제품책임자(CPO)인 마이크 크리거, 케이트 얼 젠슨 매출 총괄 책임자(Head of Revenue) 등이 참석하여 AI 개발 트렌드와 앤트로픽의 미래 비전을 공유하고 국내 기술 리더들과 함께 클로드가 산업 전반의 비즈니스 운영 및 개발 워크플로우를 어떻게 혁신할 수 있을지 심도 깊게 논의할 예정이다. 앤트로픽의 첫 국내 행사인 만큼 국내 스타트업 커뮤니티의 참여도 활발할 것으로 예상되며 앤트로픽 리더십 및 연구팀과 직접 소통할 수 있는 기회가 제공될 것으로 기대된다. 조 주(Jo Zhu) 앤트로픽 스타트업 성장 및 파트너십 총괄은 “한국 기업들은 이미 클로드를 활용하여 혁신적인 애플리케이션을 개발하며 AI 혁신의 선두에 서 있다”고 평가하며 “한국의 견고한 AI 생태계에 대한 깊은 신뢰를 가지고 있으며 한국이 글로벌 기술 중심지로 성장할 것이라고 확신한다”고 말했다. 김주원 콕스웨이브 대표는 “앤트로픽의 한국 시장 진출은 국내 AI 생태계에 중요한 전환점이 될 것”이라며 “이번 서밋을 통해 한국의 혁신적인 AI 커뮤니티와 안전하고 유능한 AI 시스템 분야의 글로벌 리더들이 한자리에 모이는 뜻깊은 자리가 될 것이다. 이번 파트너십은 책임감 있는 AI 개발의 핵심 거점으로서 한국의 중요성이 점차 커지고 있음을 시사한다”고 강조했다.2025-02-26 11:54:18
-
셀렉트스타, GSMA 손잡고 MWC 2025서세계 최초 '글로벌 AI 레드팀 챌린지' 개최 [이코노믹데일리] AI 스타트업 셀렉트스타가 세계이동통신사업자연합회(GSMA)와 공동으로 내년 3월 스페인 바르셀로나에서 열리는 MWC(모바일 월드 콩그레스) 2025에서 ‘글로벌 AI 레드팀 챌린지’를 세계 최초로 개최한다고 25일 밝혔다. 이번 챌린지는 2025년 3월 5일 오후 12시 30분부터 2시 30분(현지 시각)까지 Fira Gran Via Hall 6에서 진행될 예정이며 다국적 참가자와 다양한 LLM(대형언어모델)이 참여하는 글로벌 단위의 AI 레드팀 챌린지로는 세계 최초라는 점에서 의미가 크다. ‘AI 레드팀 챌린지’는 인공지능 기술의 발전과 함께 중요성이 커지고 있는 AI 안전성, 신뢰성, 보안 강화 방안을 모색하기 위해 마련됐다. 참가자들은 실제 서비스 중인 LLM에 모의 프롬프트 공격을 시도하여 잠재적인 결함과 취약점을 발굴하고 검증하는 방식으로 챌린지에 참여하게 된다. 특히 유해하거나 차별적인 결과, 시스템 오용 가능성 등 AI 모델의 다양한 문제점을 집중적으로 파고들 예정이다. 챌린지 공동 주최를 맡은 셀렉트스타는 AI 레드팀 플랫폼 운영, 문제 출제, 응답 검수 등 핵심적인 역할을 수행하며 그동안 축적해 온 AI 레드팀 분야의 전문성과 기술력을 국제 무대에 선보일 계획이다. 이번 챌린지에는 LG유플러스가 LG AI연구원의 엑사원(EXAONE)을 기반으로 개발한 sLLM(소형언어모델) 익시젠(ixi-GEN)을 비롯하여 아랍에미리트 TelecomGPT, 말레이시아 AIngineer 등 글로벌 AI 선도 기업들이 개발한 LLM이 평가 모델로 사용될 예정이다. 글로벌 AI 및 통신 업계를 대표하는 기업과 기관들의 후원도 잇따르고 있다. GSMA를 비롯해 아랍에미리트 국영 통신사 E&, 대한민국 과학기술정보통신부, 대한민국 인공지능 안전연구소 등이 후원사로 참여하여 챌린지의 위상을 높였다. 셀렉트스타는 이미 국내 최대 규모로 개최된 ‘생성형 AI 레드팀 챌린지’에서 핵심 파트너사로 참여하며 국내 AI 레드팀 기술력을 입증한 바 있다. 지난해 4월 과학기술정보통신부 주최로 진행된 이 챌린지에는 네이버클라우드, SK텔레콤, 업스테이지, 포티투마루 등 국내 주요 AI 기업들의 모델이 활용되었으며 700명이 넘는 참가자가 몰려 성황리에 마무리됐다. 국내 성공에 이어 GSMA와 손잡고 글로벌 챌린지를 개최함으로써 셀렉트스타는 AI 레드팀 분야의 글로벌 선도 기업으로 발돋움할 것으로 기대된다. 황민영 셀렉트스타 부대표는 “GSMA와 함께 글로벌 레드팀 챌린지를 개최하게 된 것은 셀렉트스타가 세계적인 수준의 AI 레드팀 기술과 신뢰성 검증 역량을 인정받은 결과”라며 “이번 챌린지를 통해 셀렉트스타의 AI 신뢰성 평가 솔루션을 세계 시장에 알리고 글로벌 AI 기업들과의 협력 관계를 더욱 확대해 나갈 것”이라고 포부를 밝혔다. 한편 셀렉트스타는 MWC 2025에서 자체 개발한 생성형 AI 신뢰성 검증 자동화 솔루션 ‘DATUMO Eval(다투모 이밸)’을 글로벌 시장에 정식으로 출시한다. ‘DATUMO Eval’은 AI 서비스 운영 중 발생할 수 있는 오류와 위험을 사전에 감지하고 대응할 수 있도록 설계된 솔루션이다. 특히 도메인 맞춤형 평가 질문을 대량으로 생성하고 AI가 생성한 답변을 수치화하여 분석하는 자동화 검증 프로세스를 제공하여 AI 시스템의 신뢰성을 효율적으로 높일 수 있도록 지원한다.2025-02-25 08:27:46
-
아이지에이웍스 마국성 대표, 파리 AI 정상회의서...'생성형 데이터' 가치 논하다 [이코노믹데일리] 데이터 플랫폼 기업 아이지에이웍스의 마국성 대표가 프랑스 파리에서 열린 AI 정상회의(AI Action Summit)에 참석해 인공지능(AI)이 만들어내는 ‘생성 데이터’의 경제적 가치와 산업 혁신 가능성을 논의했다. 지난 10일(현지시간) 프랑스 파리 그랑 팔레에서 막을 올린 이번 정상회의는 AI 기술의 미래와 사회적 영향력을 심층적으로 다루는 국제적인 행사다. 에마뉘엘 마크롱 프랑스 대통령을 비롯해 J.D. 밴스 미국 부통령, 나렌드라 모디 인도 총리 등 각국 정상급 인사와 샘 올트먼 오픈AI CEO, 순다르 피차이 구글 CEO, 데미스 허사비스 구글 딥마인드 CEO 등 글로벌 AI 산업을 선도하는 주요 인사들이 대거 참석해 열띤 논의를 펼쳤다. 한국에서는 유상임 과학기술정보통신부 장관과 더불어 아이지에이웍스가 국내 AI 대표 기업 자격으로 초청받아 글로벌 논의에 참여하는 의미 있는 자리를 가졌다. 이번 회의에서 아이지에이웍스는 AI가 데이터를 활용하는 방식이 기존의 단순 분석과 해석 단계를 넘어 새로운 데이터를 ‘생성’하고 그 속에서 의미를 발견하는 방향으로 진화하고 있다는 점을 강조했다. 이는 아이지에이웍스가 제시하는 ‘SCI(Synthetic Consumer Intelligence, 합성 소비자 지능)’ 개념과 맥을 같이한다. SCI는 AI가 흩어져 있는 데이터 조각들을 연결하여 새로운 소비자 프로파일링 구조를 만들고 숨겨진 연관성을 찾아 미래 행동을 예측하는 차세대 데이터 분석 방식이다. 즉, AI를 통해 단순히 데이터를 해석하는 것을 넘어 새로운 의미를 창조하고 혁신적인 인사이트를 도출하는 데 초점을 맞춘 개념이다. 아이지에이웍스는 SCI를 통해 더욱 정교하게 소비자 행동 패턴을 이해하고 빠르게 변화하는 시장 흐름을 정확하게 예측할 수 있다고 설명했다. 정상회의에서는 AI 기술의 활용 방안과 함께 신뢰성 확보, 책임감 있는 기술 개발 및 균형 잡힌 접근 방식에 대한 심도 깊은 논의도 이루어졌다. AI가 생성하는 데이터의 양과 활용도가 기하급수적으로 증가하는 만큼 기술 발전과 더불어 데이터의 윤리적 사용과 안전성에 대한 중요성이 강조된 것이다. 마국성 아이지에이웍스 대표는 “AI는 단순한 기술 도구를 넘어 데이터를 융합하고 새로운 가치와 기회를 창출하는 혁신 엔진으로 작용해야 한다”고 강조하며 “이번 AI 정상회의에서 AI의 데이터 생성 및 활용 방식이 산업과 시장에 미치는 광범위한 영향력이 논의된 만큼 아이지에이웍스는 이러한 논의를 실제 비즈니스 환경에 적용하고 더욱 확장하여 실질적인 성과를 창출할 수 있도록 글로벌 파트너십을 강화해 나갈 것”이라고 포부를 밝혔다. 한편 이번 파리 AI 정상회의에서는 △AI 혁신과 문화적 영향 △미래 일자리 변화 △AI 신뢰성 구축 방안 △공공의 이익을 위한 AI 활용 △글로벌 AI 거버넌스 구축 등 다양한 의제들이 심도 있게 논의되었다.2025-02-11 08:23:02
-
KT, 안전한 AI 위한 KT Responsible AI 리포트 발간 [이코노믹데일리] KT가 안전하고 신뢰할 수 있는 AI 활용을 위한 연구 성과를 담은 ‘KT Responsible AI 리포트’를 발간했다. KT는 AI 윤리와 신뢰성을 담보하는 프레임워크를 제시하며 안전한 AI 환경 구축을 목표로 다각적인 노력을 지속해오고 있다. 이번 리포트는 AI의 책임성과 투명성에 관한 KT의 방향성을 구체화한 결과물이다. KT가 공개한 ‘Responsible AI 리포트’는 회사가 추진하는 AI 윤리와 신뢰성을 위한 프레임워크를 설명하며 핵심 원칙 ‘ASTRI’를 소개했다. ASTRI는 △책임성(Accountability) △지속가능성(Sustainability) △투명성(Transparency) △신뢰성(Reliability) △포용성(Inclusivity)을 뜻하며 이 다섯 가지 원칙은 안전한 AI 서비스 구축을 위한 KT의 방향성을 명확히 제시한다. 이는 AI 기술 발전에 대한 대중 신뢰성을 확보하기 위해 필수적인 요소로 평가된다. KT는 이 프레임워크에 따라 AI 거버넌스, 윤리 원칙, 프로세스 등 다양한 항목을 체계적으로 정립했다. 특히 KT는 AI 생태계가 국민 생활에 미치는 영향을 고려해 윤리적 방향성을 확립했으며 ASTRI 원칙은 AI 기술의 방향성을 제시하는 '북극성' 역할을 수행한다. KT는 AI 신뢰성 강화를 위해 지난 22일 'Responsible AI 자문위원회'를 출범했다. 이 위원회에는 KT 임원뿐 아니라 고려대, KAIST 교수와 AI 스타트업 전문가들이 참여해 다각적 관점에서 AI 윤리와 책임성 검토를 수행한다. 자문위원회는 AI 모델의 객관적 검증, 국내외 규제 반영 등 다양한 업무를 통해 한국적 가치가 담긴 AI 솔루션 개발을 지원할 예정이다. KT 사내 위원회와의 협업을 통해 AI 관련 논문 저술, 학술 발표 등 연구 활동도 지속된다. 이는 KT의 AI 서비스가 객관적이고 신뢰성 높은 기반 위에 운영될 수 있도록 돕는 역할을 한다. KT는 국제적인 협력도 병행하고 있다. 캐나다 벡터 연구소와 파트너십을 체결해 AI 윤리의 글로벌 기준을 강화하는 데 힘쓰는 한편 마이크로소프트와도 AI 신뢰성 제고를 위한 협업을 이어가고 있다. 또한 4월에는 서울 AI 기업 서약에 동참해 안전한 AI 활용을 다짐했으며 중국 차이나모바일, 일본 NTT도코모와 함께 AI 산업 백서를 발간해 글로벌 통신업계의 AI 윤리 기준 수립에도 기여하고 있다. KT는 올해 4월 ‘Responsible AI Center(책임감 있는 AI 센터, RAIC)’를 설립해 AI 윤리 원칙 고도화, 거버넌스 구축, 평가 체계 수립 등을 통해 안전한 AI 연구에 박차를 가하고 있다. RAIC는 KT 내부에서 AI 윤리 지침을 정립하고 임직원들이 AI 윤리를 일상 업무에 적용할 수 있도록 체계적인 교육을 지원한다. 배순민 KT Responsible AI Center 센터장은 “RAIC는 신뢰받는 AI 활용을 목표로 정책 수립과 모니터링에 주력하고 있다”며 “이번 리포트 발간을 계기로 국내외 AI 이해관계자와의 협력이 확대되기를 기대한다”고 밝혔다.2024-10-27 16:11:41
많이 본 뉴스
영상
Youtube 바로가기
![[기자수첩] 손바닥으로 하늘 가리는 GM](https://image.ajunews.com/content/image/2025/03/20/20250320182759531950_518_323.jpg)