도움하는 것이 해를 끼치는 경우와 해결 방법: 다중-agent 논쟁을 위한 데이터 청소

다중_AGENT_ 토론이 데이터 청소에 도움이 되는지 hurt하는지 언제인지 알아보았습니다. 세 가지 벤치마크, 네 가지 모델 종류, 그리고 6,000 여 개의 태스크-조건 pair를 조사한 결과, 토론의 효과가 반전되었습니다. 모든 네 가지 모델 (-1.6에서 -15.5pp)에서 토론이 생성을 나쁘게 만드는 반면, 오류 감지를 개선했습니다 (+27.4pp F1, d=1.0). 토론의 이점 조건을 도출했습니다: 토론이 도움이 되는 경우는 Critic가 Generator의 잘못된 출력을 검증할 확률 (fixability를 고려한 Critic 검증 확률)가 오류가 아닌 출력을 파괴할 확률보다 높을 때입니다. 대규모 언어 모델(factorial experiment)을 사용한 실험 결과, 서로 다른 도구로 자체 검증하는 것이 실패했지만, 별도의 Critic를 사용하여 코드 실행을 기반으로 한 검증과 증거를 기반으로한 생성이 단일_AGENT보다 상당히 높아진다는 것을 입증했습니다 (+5.3pp, p<0.05). 조건은 19 개의 비교에서 7 개의 도메인에서 모두 9 가지 태스크 유형을 예측했으며, 0 개의 거짓 음성으로 일반화되었습니다.