멀티 에이전트 코드 심판이 실제로 지지되는 때는 언제인가? 두 레이블 없는 측정치, 그리고 추측하지 않는 심판

연구자들은 언어 모델이 다른 언어 모델의 코드가 올바른지 판단할 때 증거가 없다고 보고하지 않는다는 것을 발견했다. 대신에, 언어 모델은 자신이 판단한 결과를 신뢰적으로 내고 그 결과를 뒷받침하는 이유를 첨부한다. 이와는 달리, 증거가 문서의 집합인 경우 다중_AGENT 검증은 판단을 검증 가능한 주장으로 분해하고 각 주장을 증거와 비교하는 promising한 대안이다. 하지만, 언어 모델이 코드를 판단할 때 이러한 방법이 필요로 하는 두 가지 조건을 모두 만족하지 않는다는 것을 발견했다. 증거는 판정 대상의 결과와 독립적이고, 두 후보자 간에 차이가 있어야 한다. 문서 검색 결과 증거는 자동으로 두 번째 조건을 만족하지만, 코드 판단에서는 그렇지 않다. MARCH라는 framework를 사용하여 80개의 조건별 셀 측정치를 2개의 코드 판단 벤치마크에 적용했더니, MARCH는 78%에서 95%까지 두 솔루션이 모두 좋은 결과를 내는 것으로 판단했다. 하지만, 동일한 모델이 직접 판단했을 때의 정확도는 43.7%에 달했다. 이 문제를 해결하기 위해, 연구자들은 pipeline의 로그에서 두 가지 측정치를 취했다. 이 중 하나를 사용하여, pipeline은 비교할 수 없는 비교를 거부하고 정확도를 20.7%에서 36.9%로 높였지만, 여전히 모든 비교에 대해 반응했다. 이 연구의 CONTRIBUTION은 더 정확한 판단 모델이 아니라, 판단 모델이 자신의 판단에 대한 근거가 없을 때 이를 알려주는 방법을 제공하는 것이다.