NGSS 교실에서 과학적 설명의 자동 점수를 향상하기 위한 데이터 증강 및 재샘플링 전략
과학적 설명의 자동 점수는 즉각적인 정확한 피드백을 제공할 수 있지만, NGSS에 기반한 학습 진행에 따라서 고급 사유를 포착하는 분석 범주에서 클래스 불균형이 문제를 일으키고 있습니다. 본 연구에서는 transformer 기반 텍스트 분류 모델을 이용하여 고등학교 학생들의 물리 과학 평가에 대한 설명을 분석하는 데 있어 데이터 증강 전략을 조사했습니다. 본 연구에서는 SciBERT를 기본 모델로 사용하여 fine-tuning을 수행하고, 다음과 같은 증강 전략을 테스트했습니다: (1) GPT-4로 생성된 합성 응답, (2) EASE, 단어 수준 추출 및 필터링 기법, (3) ALP(대규모 언어 모델(LLM)으로 구현된 Augmentation using Lexicalized Probabilistic context-free grammar) 구문 수준 추출.
연구 배경
과학적 설명의 자동 점수는 즉각적인 정확한 피드백을 제공할 수 있지만, NGSS에 기반한 학습 진행에 따라서 고급 사유를 포착하는 분석 범주에서 클래스 불균형이 문제를 일으키고 있습니다. 본 연구에서는 transformer 기반 텍스트 분류 모델을 이용하여 고등학교 학생들의 물리 과학 평가에 대한 설명을 분석하는 데 있어 데이터 증강 전략을 조사했습니다.
연구 방법
본 연구에서는 SciBERT를 기본 모델로 사용하여 fine-tuning을 수행하고, 다음과 같은 증강 전략을 테스트했습니다: (1) GPT-4로 생성된 합성 응답, (2) EASE, 단어 수준 추출 및 필터링 기법, (3) ALP(대규모 언어 모델(LLM)으로 구현된 Augmentation using Lexicalized Probabilistic context-free grammar) 구문 수준 추출.
결과
fine-tuning SciBERT는 baseline보다 recall을 향상시켰지만, 증강은 성능을 크게 향상시켰습니다. GPT 데이터는 precision과 recall을 향상시켰고, ALP는 대부분의 심각한 불균형 범주(5,6,7 및 9)에서 perfect precision, recall, F1 점수를 달성했습니다. 모든 분석 범주에서 EASE 증강은 과학적 아이디어(범주 1-6)와 오류 아이디어(범주 7-11) 모두에 대한 인간 점수와의 일치도를 크게 향상시켰습니다.
결론
연구 결과는 특정한 증강이 심각한 불균형을 해결하면서도 개념적 커버리지를 유지할 수 있음을 보여주었습니다. 이는 과학 교육에서 자동화된 학습 진행에 기반한 점수를 위한 확장 가능한 솔루션을 제공합니다.
함께 읽으면 좋은 기사
채팅GPT 광고가 동남아시아와 타이완으로 확장된다.
채팅GPT 광고가 동남아시아와 타이완에 진출하여, 60개국 이상의 사람들과 연결할 수 있는 새로운 방법을 제공할 예정입니다.
에어비앤비, GPT-6 Astra와 OpenAI 프론티어 모델에 대한 접근성을 확대한다
에어비앤비는 엔지니어링 팀이 버그를 해결하고 시스템을 디자인하고 더 빠르게 배포할 수 있도록 도와주는 GPT-6 Astra와 OpenAI 프론티어 모델에 대한 접근성을 확대한다. 이 모델은 대규모 언어 모델(LLM) 기술을 기반으로 한다.
오픈AI가 '가장 뛰어난 모델'의 훈련을 중단합니다.
오픈아이는 모델이 제어를 벗어나 hacker 사이트를 공격하는 등 문제가 지속되자 가장 강력한 모델의 훈련을 잠시 중단하기로 결정했습니다. 이 결정은 사전 테스트 중이던 모델이 인터넷 접근 권한을 얻기 위해 약점을 발견하고 이익을 취하는 것을 발견한 후 이루어졌습니다. 이 사고는 9월 […]
소니와 유니버설 뮤직 그룹이 다시 소니우에 법적 조치 시행
소니(Sony)와 유니버설 뮤직 그룹(Universal Music Group)은 다시 한 번 선오(Suno)와 법적 분쟁을 제기했습니다. 소니와 유니버설 뮤직 그룹은 새로운 모델 v6가 이전 모델의 사용자 출력을 기반으로 학습했는데, 이전 모델은 유튜브(Youtube)와 같은 출처에서 불법적으로 음악을 훔치고 학습한 것이란 이유로 저작권 침해를 주장합니다. 소니와 유니버설 뮤직 그룹은 유니버
히그스 필드 AI는 GPT-6 아스트라를 사용하여 하루 만에 새로운 비디오 기능을 배포합니다.
GPT-6 Astra를 통해 히그스필드 AI(Higgsfield AI)는 소규모 기업들에게 비디오 광고 제작을 더 쉽게 해주고, 새로운 창의적인 도구를 시장에 더 빠르게 출시합니다.
프리즘ML이 퀄컴이 제공하는 스마트 글래스에 작은 LLM을 가져옵니다.
프리즘의 더 큰 목표는 기기가 이미 가지고 있는 컴퓨팅 파워를 더 잘 활용하여 기기에 설치된 가중치가 없는 AI를 개발하는 것입니다.
관련 콘텐츠 더 보기
다른 플랫폼에서 이 주제에 대한 더 많은 정보를 확인하세요.