펜실베이니아주립대 연구진 논문…교수 37명 61문항 분석, 답안 형식 제한은 오히려 점수 올라

기사와 상관없는 이미지. 게티이미지뱅크



미국·영국 대학 교수 37명이 인공지능(AI)이 풀기 어렵도록 직접 설계한 시험 문항에서도 최신 AI가 평균 80점이 넘는 점수를 받은 것으로 전해졌다.

문제를 의도적으로 복잡하게 꼬는 방식만 AI가 많이 틀렸고, 답안 형식을 까다롭게 제한한 문항에서는 오히려 점수가 높았다.

16일(현지 시간) 펜실베이니아주립대 연구진은 논문 사전공개 사이트 ‘아카이브’(arXiv)에 이같은 내용의 논문을 올렸다.

● 교수 37명이 만든 ‘AI 방지’ 문항 사용

연구에는 미국 10개 대학과 영국 1개 대학 교수 37명이 제출한 문제가 사용됐다. 총 61문항 중 50문항은 새로 만든 문제이고 11문항은 기존 문제를 AI가 풀기 어렵게 고친 것이다.

연구진은 비교 기준으로 온라인 강의에서 가져온 문항 14개를 대조군으로 더해, 모두 75문항을 분석했다. 대조군은 AI가 풀기 어렵도록 만든 문제인지 알 수 없는 일반 문항이다. 분야는 컴퓨터과학이 33문항(44%)으로 가장 많았고, 미디어학·공학·통계학·수학·인문학·물리학 등 17개 학문이 포함됐다.

● 최고 83.2점…대조군과 차이는 4~6점연구진은 GPT-5.4, 클로드 소넷 4.6, 제미나이 2.5 플래시 등 총 3종에 모델마다 문항당 10번씩 풀게 했다. 강의 자료를 줬을 때와 안 줬을 때를 나눠 모두 4500개 답안을 만들었다.

‘AI 방지’ 문항에서 GPT-5.4는 평균 83.2점으로 가장 높았고 소넷 4.6이 82.1점, 제미나이가 78.7점이었다. 대조군에서는 소넷 4.6이 88.2점, GPT-5.4가 87.5점, 제미나이가 83.2점이었다. 모델마다 ‘AI 방지’ 문항이 대조군보다 4.2~6.1점 낮았을 뿐이다. 강의 자료를 추가해도 GPT-5.4는 85.3점으로 2.1점 오르는 데 그쳤다.

● 교수들의 다섯 가지 전략

연구진은 교수들이 문항을 설계하며 밝힌 설명을 분석해 전략을 △인터넷에서 검색되지 않는 독창적 문제 만들기 △AI가 약한 영역을 겨냥하기 △수업에서만 다룬 개념·표기 요구하기 △문제를 복잡하게 만들기 △답안 형식 제한하기 등 다섯 가지로 분류했다.

‘AI가 약한 영역 겨냥’에는 단어를 배열하는 경우의 수를 구할 때 글자 위치를 계속 추적하게 한 수학 문제 등이 있었다. ‘복잡하게 만들기’에는 이미지에 ‘적대적 노이즈’를 더하거나, 오해를 유도하는 내용을 넣거나, 힌트와 문제명을 지우는 방식이 포함됐다. ‘형식 제한’은 카르노 맵과 블록 다이어그램을 그리게 하거나, ‘쟁점-규칙-적용-결론’ 순서로 답하게 하는 식이다.

● 통한 건 ‘복잡성 더하기’ 문항

전략별 점수(문항별 평균의 중앙값)를 대조군(88점)과 비교하면 차이가 뚜렷했다. 독창적 문제 만들기(83점), AI 약점 겨냥(84점), 수업 고유 개념 요구(82점)는 대조군보다 4~6점 낮은 수준이었다.

복잡성을 더한 문항은 78점으로 대조군보다 10점 낮아 하락 폭이 가장 컸다. 이 전략에는 AI 점수가 100점 만점에 3점에 그친 물리학 문제도 포함됐다. 반면 답안 형식을 제한한 문항은 91점으로 대조군보다 오히려 높았다.

문제를 고치기 전후를 비교한 11쌍에서도 같은 경향이 나왔다. 복잡성 전략을 쓴 5문항 중 4문항은 고친 뒤 점수가 0.5~9.2점 내려갔다. 형식을 제한한 한 컴퓨터과학 문항은 오히려 84점에서 96점으로 올랐다. 연구진은 “어렵게 고친 문제가 AI에게 더 쉬워지는 경우도 있다”고 설명했다.

● 연구진 “평가 방식을 바꿔야”

연구진은 숙제나 온라인 시험만으로 학생의 이해도를 판단하기 어려워졌다고 봤다. 대안으로 AI를 ‘팀원’처럼 쓰는 과제, AI가 낸 답을 학생이 비판하고 고치는 과제를 제시했다. AI 사용을 부정행위로 단속하기보다 사용 사실을 공개하도록 하는 방향으로 학교 정책을 바꾸고, 교수도 AI로 문제나 자료를 만들 때 이를 밝혀야 한다고 제안했다.

다만 한계도 있었다. 문항이 75개로 적고, 전략별 비교는 서로 다른 문제끼리 한 것이어서 학문 분야와 난이도 차이가 섞인 것으로 봤다. 이에 대한 평가는 GPT-5.4가 맡았다. 연구진이 사람이 직접 채점한 102개 답안과 비교했을 때 통계적으로 유의한 차이는 없었지만 제미나이는 평균 7.5점 차이가 난 것으로 전해졌다.

© dongA.com All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지

Leave a Reply

Your email address will not be published. Required fields are marked *