여성최음제구입 “박사급이라면서 왜 이렇게 답답하죠?”···AI 성능 측정, 이젠 ‘일머리’도 따진다 [경제밥도둑] > 공지사항

여성최음제구입 “박사급이라면서 왜 이렇게 답답하죠?”···AI 성능 측정, 이젠 ‘일머리’도 따진다 [경제밥도둑]

페이지 정보

작성자 행복이이
댓글 0건 조회 14회 작성일 26-05-31 18:11

본문

여성최음제구입 “현실 업무를 위한 새로운 유형의 지능.”
오픈AI는 지난달 새로운 프론티어 모델인 GPT-5.5를 공개하며 이렇게 소개했다. GPT-5.5는 경쟁사인 앤트로픽의 오퍼스 4.7보다 복잡한 에이전트 코딩·전문 업무·컴퓨터 조작 등에서 더 높은 점수를 기록했다. 다만 초고난도 지식 해결, 과학 추론 등에서는 오퍼스 4.7의 점수가 더 높았다.
오픈AI는 “지금까지 나온 자사 모델 중 가장 똑똑하고 직관적으로 쓸 수 있는 모델”이라며 “사용자가 하려는 일을 더 빨리 이해하고 더 많은 작업을 스스로 해낼 수 있다”고 말했다.
구글도 지난 19일 새 경량 모델인 제미나이 3.5 플래시를 내놓으면서 “(기존 프론티어 모델인) 제미나이 3.1 프로보다 주요 코딩·에이전트 벤치마크에서 앞섰다”면서 “속도 면에서는 타사 프론티어 모델보다 4배 빠르다”고 내세웠다.
생성형AI 새 모델이 나올 때마다 AI의 사고·추론 성능 못지 않게 이 능력을 계량적으로 평가하는 ‘벤치마크’ 점수에 눈길이 쏠린다. 회사의 이전 모델은 물론 경쟁사의 벤치마크 점수를 뛰어넘느냐가 사용자들의 평가 기준이 되기 때문이다.
1~2년새 AI의 평가 점수는 크게 개선됐지만 이를 평가하는 벤치마크에 대한 회의론도 덩달아 커지고 있다. 시험 문제 맞히기식 평가가 AI의 실제 업무수행 능력을 보여주지 못한다는 것이다. 최근에는 엔지니어링 도면을 그리거나, 법률문서를 작성하는 등 단순한 ‘문제 풀기’를 넘어 실제 AI의 ‘일머리’를 측정하는 방법론이 주목받고 있다.
26일 IT업계에 따르면 현재 AI의 성능을 측정하는 벤치마크 수는 400개가 넘는다. 상당수는 AI가 답이 있는 문제에서 답을 맞히는지 측정하는 ‘시험 풀이형’이다. 직접 짠 컴퓨터 코드를 평가하는 등 특정 영역에 특화된 벤치마크도 여럿 생겼다.
벤치마크 결과만 놓고 보면, AI의 성능 향상 속도는 눈부실 정도다. AI의 코딩 능력을 측정하는 대표 벤치마크인 SWE-벤치 베리파이드(SWE-bench Verified)의 문제해결률은 주요 생성형AI의 경우 2024년 8월 30%대 수준에서 최근 80%대로 뛰었다. 전문지식 수준을 평가하는 GPQA 다이아몬드 점수는 현재 94% 수준을 기록하고 있다. GPQA 다이아몬드는 생물학·물리학 등 과학 분야의 박사급 전문가가 만든 객관식 문제로 구성된 시험이다.
광범위한 분야의 전문지식을 측정하는 인류의 마지막 시험(Humanity’s Last Exam)은 지난해 초까지만 해도 정답률이 한 자릿수대에 머물렀으나 현재는 46.9%(클로드 오퍼스 4.7)로 상승했다.
문제는 이런 AI 성능 향상이 실제 이용자의 체감과는 다소 괴리가 있다는 점이다. 사용자의 의도를 이해하지 못하고 엉뚱한 답변을 내놓거나, ‘그럴듯한’ 답변이 실제로는 오류가 있어 오히려 검토에 시간이 더 들어갔다는 불만도 나온다.
20대 직장인 A씨는 “지난해 말부터 몇 번 주요 AI를 썼는데 정리를 잘해주는 듯하다가도 중간에 확인하면 잘못된 내용들이 들어가 있다”면서 “몇 번 그러다 보니 오히려 확인하는 데 시간을 더 쓰게 되는 경우가 적지 않아 업무에는 제한적으로만 쓰고 있다”고 말했다.
미국 소프트웨어 기업 하네스가 이달 공개한 개발자 대상 설문조사에 따르면 응답자들은 AI 덕분에 코드 생성 속도는 빨라졌지만 코드 검토와 같은 ‘보이지 않는’ 업무량도 크게 늘었다고 답했다. 이들은 업무시간의 31%를 코드 정확성을 검토하거나, 버그를 수정하는 데 쓰는 것으로 조사됐다. 수치로 나타나는 AI의 성능 향상과 달리, AI로 인한 생산성 향상 효과가 생각보다 크지 않을 수 있다는 뜻이다.
올해 들어서는 AI의 기초적인 실수를 희화화하는 테스트도 유행했다. AI 성능비교업체 더 포커스AI는 지난 2월 세차를 위해 50m 떨어진 세차장에 갈 때 걸어갈지, 차를 타고 갈지 물었을 때 131개 AI 모델 중 31개 모델만 정답인 ‘차를 타고 가라’고 답했다고 밝혔다. 박사급 문제도 푸는 AI 모델이 정작 상식적인 문제는 해결하지 못한 셈이다.
‘알파고의 아버지’로 불리는 데미스 허사비스 구글 딥마인드 최고경영자(CEO)도 지난 2월 인도 AI서밋에서 “(현재 AI 시스템은) 과제 간 일관성이 부족하다”면서 “수학 올림피아드 금메달급 성과를 내면서도 초등 수학에서 실수할 수 있다”고 말했다.
이렇다 보니 기존 벤치마크의 실효성에 의문을 품는 이들도 늘고 있다. 객관식 문항 맞추기에 초점이 맞춰진 벤치마크 특성상 일상생활의 업무 수행 능력을 제대로 평가하기 어렵다는 것이다.
무엇을 측정하는지 모호한 벤치마크가 난립하고 있다는 점도 문제로 꼽힌다. 벤치마크가 측정하는 추론능력·안전성·문제 해결능력 등의 정의가 불분명하다는 것이다. 옥스퍼드대 인터넷 연구소 등에 따르면 시중의 445개의 AI 벤치마크 중 통계적 검증 등을 거친 측정 방식을 사용한 벤치마크는 16%에 그쳤다.
이 때문에 최근에는 시험문제 풀이가 아닌 실제 업무 수행 능력을 보는 ‘실전형’ 벤치마크가 확대되는 추세다. 처음보는 문제에 적응하는지, 여러 단계에 걸쳐 있는 복잡한 작업을 인간 개입없이 끝까지 해내는지 등을 측정하는 것이다. 오픈AI가 공개한 자체 벤치마크인 GDPval은 법률 문서나 엔지니어링 도면 같은 실제 업무 산출물을 얼마나 잘 만드는지를 점수로 매긴다. AI가 실제로 경제적 가치를 창출할 수 있는지를 본다는 취지다.
실제 프리랜서 소프트웨어 개발 과제 수행을 평가하는 경우(SWE-Lancer), 여러 앱을 오가며 주요 직군별 업무과제를 수행하는 능력을 평가하는 경우(윈도우즈월드)도 있다.
이병권 경희대 빅데이터응용학과 교수는 “벤치마크 점수가 높다고 성능이 좋다고 볼 수는 없다. 일정 수준 이상이 되면 점수와 소비자 만족도 간 연관성도 낮아진다”면서 “단순히 시험 문제 풀이가 아니라 이용자의 실제 사용 패턴에 얼마나 적합하게 반응하느냐가 (AI 성능의) 척도가 될 것”이라고 말했다.
일론 머스크가 이끄는 전기차 업체 테슬라와 우주기업 스페이스X의 합병 가능성이 제기됐다. 두 회사가 경영진·자금 흐름 측면 이미 긴밀하게 얽혀 있는 만큼, 장기적으로 하나의 기업으로 통합될 수 있다는 관측이 나온다.
미국 CNBC는 26일(현지시간) 복수의 익명 관계자를 인용해 머스크 최고경영자(CEO)와 양사 핵심 인사들이 테슬라·스페이스X의 합병 방안을 논의했다고 보도했다. 테슬라 내부에서는 합병 가능성이 공개적으로 거론되고 있으며, 양사 간 인력 교류도 활발히 이뤄지고 있는 것으로 전해졌다.
두 회사는 경영진과 이사회 구성에서 상당 부분 겹친다. 머스크 CEO는 물론 투자사 DBL파트너스의 설립자인 아이라 에렌프라이스도 두 회사의 이사직을 겸직하고 있다. 현재 스페이스X 이사로 활동 중인 안토니우 그라시아스와 스티브 저벳슨은 과거 테슬라 이사를 맡았다. 찰스 쿠만은 두 회사에서 모두 재료공학 부사장을 맡고 있다. 머스크의 동생 킴벌 머스크 역시 스페이스X 이사를 지낸 뒤 현재는 테슬라 이사회에 참여 중이다.
사업적으로도 협력 관계가 깊다. 테슬라는 지난 1월 인공지능(AI) 기업 xAI에 20억 달러를 투자했고, 이후 스페이스X가 xAI를 인수하면서 양사의 이해관계가 더욱 맞물리게 됐다. 스페이스X는 2024~2025년 테슬라의 메가팩 배터리 저장장치를 약 6억9700만 달러 규모로 구매했다. 지난해에는 고가 전기 픽업트럭인 테슬라 사이버트럭도 대량 사들였다.
시장에서는 두 회사가 합쳐질 경우 가장 큰 이익을 얻는 인물로 머스크를 꼽는다. 그는 앞서 스페이스X 의 장기 목표로 시가총액 7조5000억 달러 달성과 화성에 100만 명이 거주하는 도시 건설 구상을 제시했다.
투자사 거버 가와사키의 로스 거버 CEO는 CNBC에 “두 회사의 합병은 머스크가 하나의 거대한 기업을 운영하겠다는 구상을 실현하는 계기가 될 수 있다”며 “구글 같은 빅테크와 AI 경쟁을 벌일 자금을 확보하는 데에도 도움이 될 것”이라고 말했다.
다만 실제 합병이 성사되기까지는 넘어야 할 과제가 적지 않다는 분석도 나온다. 어느 회사가 모회사가 될지, 주식 교환 비율을 어떻게 정할지 등이 주요 쟁점으로 거론된다. 벤처투자자 토머스 퉁구스는 “두 회사 모두 AI 인재와 컴퓨팅 자원 확보에 집중하고 있다는 공통점이 있다”면서도 “합병 절차 자체는 상당히 복잡할 것”이라고 전망했다.

이전글이혼전문변호사 이혼전문변호사 26.05.31
다음글수원흥신소 미 국방장관, 한국 전작권 의지 “고무적…다만 ‘균형’ 찾아야” 26.05.31

댓글목록

등록된 댓글이 없습니다.

여성최음제구입 “박사급이라면서 왜 이렇게 답답하죠?”···AI 성능 측정, 이젠 ‘일머리’도 따진다 [경제밥도둑] > 공지사항

공지사항

페이지 정보

본문

댓글목록

회원로그인