feedback으로부터의 인터랙티브 개선의 동력

natural 언어 피드백이 반복 시도만으로 얻을 수 있는 성능 향상 이상의 성능 향상을 어떻게 가져올 수 있는지 연구했다. 여러 번의 대화가 있는 언어 agent 환경에서, 최종 정확도는 유용한 피드백을 반영할 수 있지만 다시 샘플링, 형식 교정, 또는 테스트 시간에 대한 추가 계산도 그 결과가 될 수 있다. 이러한 효과를 분리하기 위해 우리는 Omni-MATH, Codeforces, BBEH Linguini, ARC-AGI1에 걸쳐서 controlled student-teacher protocol을 도입하고, 열거형 모델 13종을 student와 teacher로 평가했다. 우리는 외부 피드백, 자기 피드백, 그리고 비인도적인 자기 개선 방법을 비교했으며, 상호 작용 기록, 작업 난이도, 그리고 teacher가 특권적인 작업 정보에 접근할 수 있는지 여부를 조절했다. 환경에 따라, 여러 번의 대화로 인한 성능 향상은 피드백 사용에 대한 증거가 아니라는 것을 발견했다. 자기 발생 피드백은 비인도적인 자기 개선 방법에 비해 거의 추가적인 성능 향상이 없는 반면, 가장 강력한 외부 teacher는 상당히 더 큰 피드백 특정 성능 향상이 있었다. 이는 유용한 피드백은 일반적인 다시 시도만큼은 아니라는 것을 나타낸다. 학생-teacher 상호 작용 행렬 또한 student가 피드백을 사용하는 능력에 의해 더 많이 주어지는 상호 작용의 성능 향상이 teacher의 정체성에 의해 주어지는 것보다 더 크다는 것을 보여준다. 그러나 teacher의 선택은 고정된 student의 경우에 중요하다. 이러한 결과는 피드백 기반 agent를 반복 시도 baseline과 비교하는 것이 중요하고, 피드백 사용의 능력, 피드백 제공의 능력만으로는 충분하지 않다는 것을 보여준다. 우리는 controlled student-teacher evaluation framework을 https://j-lojek.github.io/feedback-generation-is-a-bottleneck/ 에서 공개했다.