블록 기반 프로그래밍을 위한 작은 언어 모델을 튜터로 사용하는 벤치마크

대규모 언어 모델(LLM)이 교육자 역할로 사용되는 것은 점점 더 연구되고 있지만 K-12 교육 환경에서 이를 배치하는 것은 개인 정보 보호, 비용, 특허 모델에 의존하는 문제를 일으킨다. 작은 언어 모델(SLM)은 훌륭한 대안을 제공하지만 특정 교육 환경에 적합한 모델을 선택하는 것은 여전히 어려운 문제이며, 대상 도메인인 블록 기반 프로그래밍과 같은 경우 모델 훈련 데이터에서 크게 부족하기 때문이다. 우리는 VEX VR 블록 기반 로봇 환경에서 언어 모델이 CS 교육자로 평가하는 새로운 표준인 CSTutorBench를 제시한다. 이 표준은 17 가지 시나리오 기반 문제를 포함하고 인간의 참여를 통해 LLM을 심사관으로 하는 평가 pipe라인을 가지고 있으며, 교육자와 피드백 연구의 토대인 교육적 지침을 바탕으로 채점한다. 초기 연구 결과에서 11 가지 모델(4B-120B 매개 변수)을 조사한 결과, 모델은 어휘와 ton에 대한 표면 수준의 기준에서 잘 수행하지만 더 깊은 교육적 행동에 어려움을 겪는데 특히나 답을 유출하는 것을 피하고 학생 디버깅 기록과 상호 작용하는 것을 포함한다. 우리의 샘플에서 모델 계통과 지시-튜닝 접근 방식이 매개 변수 수만큼 tutoring quality를 예측하는 데 더 나은 예측자로 나타났지만 모델의 수가 적기 때문에 이 결론의 강도는 제한된다. 최근 교육 프롬프트 엔지니어링 연구에 근거한 대화식 프롬프트 수정은 10 개 중 11 개의 모델에서 성적을 향상시켰다. 이 결과는 SLM 선택에 있어 SLM에 대한 교육적 배치에 대한 중요성을 강조한다.