믿을만한 것이 아닌 교정적인 메시지: 다중 홉 에이전트 리레이에서 메시지 형식 효과는 계층에 따라 다름

대규모 언어 모델(LLM) agent가 서로 정보를 전달할 때, 메시지 형식이 중요합니까? 두 개의 문헌은 서로 다른 의견을 제시한다: 형식 최적화 작업은 구조화된 메시지가 비용을 절감하면서 정확성을 손상시키지 않다고 보고하지만, 형식 제한 작업은 구조를 강요하면 생성을 손상시키고 정확성을 떨어뜨린다고 보고한다. 또한 한 번의 메시지가 여러 홉을 거치면 복사 신뢰도, 단일 홉 생성이 아닌 것이 주요 요인이기 때문에 어떤 일이 발생하는지 측정하지 않았다. 우리는 제어된 중계 테스트베드를 소개한다: 12개의 프로그래밍적으로 생성된 원자적 사실의 브리핑이 5개의 형식(free NL, precision-instructed NL, JSON, triples, key-value)으로 6개의 홉을 거치며 재 인코딩되며, 프로그램형 지면 진실에 대한 고정 강력한 평가자에 의해 평가된다. 또한 두 개의 중계 가능성 수준, 인지 부하 조건, pair-fork 오류 주입이 있다. 우리는 형식이 중계 가능성에 따라 영향을 받는다. (i) 충실한 중계 지시를 받은 강력한 중계는 거의 손실이 없으며, 문서화된 "전화 게임" 붕괴는 발생하지 않으며, 홉당 인지 부하를 추가하면 형식 수준의 신뢰도는 변경되지 않지만(+-1.8점 내) 생성 비용이 24-53% 증가한다. (ii) 약한(1.5B) 중계에서는 6 홉의 회상이 형식에 따라 8.7배 증가(2.3에서 20.5점)하며, rigids 형식이 지불하는 인코딩 부과금과 fixed-key JSON 스키마의 특정한 drift 저항으로 인해 형식 순위가 전송 중에 뒤집힌다. (iii) pair-fork 오류 주입에서, Injected 오류 값은 83-100%의 chain에서 최종 홉에.persist한다. 모든 형식에서 오류 값을 유지하는 것과 비슷하고, 형식 순위는 pipeline 내에서 가장 약한 중계에 따라 결정되어야 한다.