검색결과 총 3건
-
현대엔지니어링, 플랜트·건설 특화 LLM 개발·시연
[이코노믹데일리] 현대엔지니어링은 인공지능(AI) 연구개발 스타트업 젠티와 함께 플랜트 및 건설 분야 특화 거대 언어 모델(LLM)을 개발하고 지난 18일 이를 시연하는 기술 콘퍼런스를 개최했다고 21일 밝혔다. LLM은 대규모 텍스트를 학습해 인간과 유사하게 언어를 처리하고 생성할 수 있는 AI 모델로, 대표적으로는 챗GPT가 있다. 다만 챗GPT와 같은 보편적 서비스 목적의 프로그램은 보안 문제로 기업 내부 자료를 입력할 수 없을 뿐만 아니라 거짓정보 생성, 최신 정보 업데이트 및 전문 지식 부족, 비용 발생 등의 이유로 실무에 활용하기에는 제약이 있다. 이를 극복하기 위해 현대엔지니어링은 젠티와 협력해 165억개의 말뭉치 토큰으로 이뤄진 방대한 플랜트 건설 분야 데이터를 학습한 파운데이션 모델을 개발했으며, 전문 엔지니어링 자료와 정제된 사내 데이터를 학습시켜 잘못된 정보를 사실인 것처럼 제시하는 '환각 현상'을 줄이고 답변의 신뢰도를 높였다. 최종 성능 검사 결과, 현대엔지니어링의 플랜트 특화 LLM은 오픈AI의 언어모델인 GPT-4와 GPT-3.5, 구글의 젬마2(Gemma2 9B), 업스테이지의 솔라-1O.7B 등과 비교해 미국 기술사 시험인 PE 테스트의 전기(Power) 분야에서 가장 높은 평균 점수를 기록했다. 한국플랜트산업협회가 건설 분야 생성형 AI의 촉진을 위해 개발한 기술 시험에서도 최고점을 달성했다. 현대엔지니어링은 이 모델을 활용해 방대한 사내 기술 자료를 질의·답변 방식으로 검색·요약·번역할 수 있는 '챗파일' 서비스와 과거 사례 및 법률 조항, 표준계약조건(FIDIC) 등을 바탕으로 입찰안내서(ITB) 항목을 비교 분석 및 검토해주는 서비스를 개발하고 있다. 향후 서비스가 업무에 적용될 경우 △ 정보검색 시간 단축 등 생산성 향상 △ 보고서, 문서 자동생성 등 업무 효율화 △ 리스크 분석, 기술적 의사 결정 등 업무 지원체계 확립 △ 임직원 교육 시스템 구축 등의 효과를 낼 것으로 회사 측은 기대하고 있다.
2024-10-21 14:22:05
-
-
애플 자체 '온디바이스 및 서버 파운데이션 모델' 평가 보고서 공개... 신뢰성 논란
[이코노믹데일리] 애플이 자사 AI 시스템 성능을 자체 평가한 '온디바이스 및 서버 파운데이션 모델 성능 보고서'를 공개하면서 신뢰성 논란이 일고 있다. 이 보고서에서 애플은 자사 AI 모델이 '인간 만족도' 평가에서 구글, 오픈AI, 마이크로소프트(MS) 등 주요 기업의 AI보다 앞선 성능을 보였다고 밝혔다. 구체적으로 30억 개 매개변수를 가진 '온디바이스' 모델은 구글의 '파이-3 미니', '미스트랄-7B', '젬마-7B' 등 대형 모델보다 성능이 우수했다고 한다. 또 서버 기반 AI 모델 역시 데이터브릭스, 미스트랄, GPT-3.5 터보보다 효율적이라고 설명했다. 애플은 '사람의 평가에 중점을 둔 이유는 사용자 경험과 높은 상관관계가 있기 때문'이라며 750개의 '신중히 선별된 응답 세트'를 활용해 평가했다고 밝혔다. 그러나 이같은 주장에 대해 업계에서는 평가 방식의 불투명성을 지적하고 있다. 애플이 자체 개발한 비공개 AI 모델과 이미 공개된 타사 모델을 비교했기 때문에 외부에서 실험 결과를 재현하거나 검증하기 어렵다는 지적이다. 또한 모델 정확도를 사람의 주관적 평가로 판단했지만, 평가 참여자 수와 특징 분포, 구체적인 평가 방법 등을 공개하지 않았다는 점도 문제로 꼽혔다. 음성 AI를 연구하는 장준혁 한양대 교수는 "객관적 검증 없이 자기 벤치마크만 내세우는 것은 의미가 없다"며 "제3자 평가가 중요하다"고 지적했다. 그는 이어 "애플이 AI 인력과 데이터 투자가 부족했기 때문에 내세울 게 없는 것 아니냐"며 의구심을 제기했다. 한편 애플 측은 단순 AI 파운데이션 모델이 아닌, 요약·이모티콘 생성 등 사용처에 맞게 모듈화한 AI 성능을 평가한 것이라고 해명했다. 또 향후 알려지지 않은 피해를 파악하고 개선할 계획이라고 덧붙였다. AI 스마트폰의 '두뇌' 역할을 하는 신경망처리장치(NPU) 성능에서도 애플과 삼성전자의 경쟁이 주목된다. 애플 'A16 바이오닉' NPU는 17TOPS(초당 1조 번 연산) 수준인 반면 퀄컴 '헥사곤'은 50TOPS, 삼성전자 '엑시노스2400'은 42TOPS로 알려졌다. 삼성전자는 최근 엣지퓨전 모델 개발을 완료하고 AP 탑재를 검토 중인 것으로 전해졌다. AI 기술 경쟁이 치열해지면서 주요 기업들의 AI 모델 성능을 둘러싼 다툼도 불가피해 보인다. 업계는 객관적이고 공정한 평가 기준 마련이 시급하다고 입을 모으고 있다.
2024-06-13 08:13:15