LaTA: STEM 과목에서 대규모 언어 모델(LLM) 자동 채점을 위한 안전하고 효율적인 솔루션

LaTA: 대규모 언어 모델(LLM) 자동 채점 솔루션

LaTA는 대규모 언어 모델(LLM) 자동 채점 솔루션을 위한 안전하고 효율적인 솔루션입니다. LaTA는 대규모 언어 모델(LLM) 자동 채점을 위한 4단계 파이프라인(수집, 분할, 채점, 보고)을 구현하고, 대규모 언어 모델(LLM) grader(gpt-oss:120b)를 로컬로 호스팅하여, instructor-authored reference solution과 비교하고, YAML rubric에 따라 binary per-item scoring을 적용합니다.

LaTA의 특징

• 대규모 언어 모델(LLM) 자동 채점 솔루션
• FERPA를 준수하는 안전한 솔루션
• 대규모 할당서 수정이 필요하지 않음
• 로컬로 호스팅하여 데이터 위험을 노출시키지 않음

LaTA의 성능

LaTA는 ME 373(기계공학 방법론) 과목에서 200명 이상의 학생의 주간 할당서를 채점하기 위해 Winter 2026에 Oregon State University에서 배포되었습니다. LaTA는 1-3분의 wall-clock 시간당 \$0의 추가 비용으로 채점을 수행했으며, instructor-confirmed grading-error rate은 roughly 0.02-0.04%로 유지되었습니다.

LaTA의 결과

LaTA의 결과는 instructor-confirmed grading-error rate이 roughly 0.02-0.04%로 유지되었으며, 대규모 언어 모델(LLM) 자동 채점 솔루션을 사용한 과목의 성적이 일반적인 채점 방식의 과목보다 11% 더 높았습니다. LaTA의 결과는 instructor-confirmed grading-error rate이 roughly 0.02-0.04%로 유지되었으며, 대규모 언어 모델(LLM) 자동 채점 솔루션을 사용한 과목의 학생들의 자가 평가된 자신감이 8% 더 높았습니다.