명품샵 챗GPT는 왜 ‘자신있게’ 틀릴까···포스텍, AI 불확실성 진단 기술 개발 > 공지사항

명품샵 챗GPT는 왜 ‘자신있게’ 틀릴까···포스텍, AI 불확실성 진단 기술 개발

페이지 정보

작성자 행복이이
댓글 0건 조회 32회 작성일 26-07-04 13:08

본문

명품샵 챗GPT 같은 인공지능(AI)이 내놓은 답변의 불확실성이 어디에서 비롯하는지를 가려내는 기술을 국내 연구진이 개발했다. 질문 자체가 모호해 답하기 어려운 것인지, AI가 관련 지식을 충분히 갖고 있지 않아 판단이 흔들린 건지를 구분하는 데 성공한 것이다.
포항공대(POSTECH)는 이남훈 인공지능대학원 교수와 정진석 통합과정 연구원, 송민경·정현지 석사과정 연구원이 거대언어모델(LLM) 예측에 담긴 불확실성을 원인별로 구분해 측정하는 방법을 개발했다고 1일 밝혔다.
연구진에 따르면, 챗GPT 같은 거대언어모델은 몇 개 예시만으로 새로운 작업을 수행하는 ‘맥락 내 학습(In-Context Learning)’ 능력을 갖추고 있다. 하지만 같은 질문에도 답변이 달라지거나 틀린 정보를 사실처럼 제시하는 이른바 ‘환각’(Hallucination) 현상을 보이기도 한다. AI 답변을 얼마나 신뢰할 수 있는지가 중요한 과제로 떠오른 이유다.
AI 불확실성은 크게 두 가지로 나뉜다. 질문이나 데이터 자체가 모호해 누구라도 답하기 어려운 경우와 AI가 관련 지식이나 정보를 충분히 갖고 있지 못한 경우다. 두 문제는 대응 방식이 다르지만 기존 방법으로는 명확히 구분하기 어려웠다.
연구팀은 입력 문장이나 출력 결과를 반복적으로 바꿔가며 추정하던 기존 방식 대신 AI 모델 내부를 직접 분석하는 방법을 개발했다.
핵심은 ‘셀프-함수 벡터’라는 개념이다. AI가 예시를 보고 학습한 핵심 내용을 모델 내부 활성값을 통해 벡터 형태로 표현하는 기술이다. AI가 형성한 ‘생각의 핵심 요약본’을 꺼내 보는 셈이다.
연구팀은 이 벡터를 활용해 데이터의 모호함에서 비롯된 불확실성과 모델의 지식 부족에서 생긴 불확실성을 분리해 측정했다.
또한 데이터 모호함과 모델 지식 부족 정도를 각각 조절하는 평가 환경을 만들어 불확실성을 수치로 확인했다. 이 방법은 70억~700억개 매개변수를 가진 모델에서도 일관된 성능을 보였다고 연구팀은 설명했다.
이번 기술은 AI가 틀린 정보를 사실처럼 제시하는 환각 현상을 탐지하는 데도 활용될 것으로 보인다. 연구 결과는 2일부터 7일까지 미국 샌디에이고에서 열리는 자연어처리·전산언어학 분야 국제 학회인 ‘ACL 2026’에서 소개된다.
이 교수는 “AI 내부 작동 원리에 대한 이해와 불확실성 측정을 연결한 새로운 시도”라며 “의료·법률·금융 등 신뢰성이 중요한 분야에서 LLM을 더 안전하게 활용하기 위한 기반 기술로 발전할 수 있을 것”이라고 말했다.
김민석 국무총리가 1일 서울 종로구 정부서울청사에서 이임식을 마친 뒤 정부서울청사를 떠나고 있다. 2026.7.1. 정지윤 선임기자

이전글비아그라 재구매 시 주의할 점은? 26.07.04
다음글비아그라 복용 전 주의사항 한눈에 정리 26.07.04

댓글목록

등록된 댓글이 없습니다.

명품샵 챗GPT는 왜 ‘자신있게’ 틀릴까···포스텍, AI 불확실성 진단 기술 개발 > 공지사항

공지사항

페이지 정보

본문

댓글목록

회원로그인