수학 서·논술형 손글씨 이미지 답안에 대한 생성형 AI 자동채점의 특성

초록

본 연구는 지필 기반 수학 서·논술형 손글씨 이미지 답안을 대상으로 생성형 AI(ChatGPT, Gemini) 자동 채점 점수의 특성(신뢰도·타당도)을 다면적으로 분석하였다. 고등학교 2학년 손글씨 풀이 자료(11문항, 문항당 0–3점)를 대상으로 ChatGPT와 Gemini를 활용해 동일 프롬프트 조건에서 3회 반복 채점을 수행하고, 반복 채점의 완전 일치율과 최빈값 기반 모델 간 일치도, 오차를 산출하였다. 또한 문항 2에 대해서는 단일 채점과 일괄 채점 조건을 비교하고, 수학교육 현장 전문가 채점과의 정합 성을 분석하였다. 마지막으로 일반화가능도 이론(G-theory)을 적용하여 사람×문항×반복 실행 설계에서 분산 성분과 G 계수를 추정하였다. 분석 결과, 두 모델은 평균적으로 높은 반복 채점 신뢰도(문항별 반복 완전일치율)를 보였으나 문항에 따라 변동성이 달랐고, 모델 및 채점 조건에 따른 준거 정합성의 차이가 확인되었다.

키워드