구조화된 agent 평가 및 근거付け

에이전트 호출 평가의 한계

대규모 언어 모델(LLM)의 에이전트 호출 평가에서 정확도만을 고려하는 것은 다양한 실패 모드의 차이를 가려버린다. 모델이 올바른 함수를 선택했더라도 인자 값을 허구로 만들거나, 스키마를 만족하면서도 잘못된 이유로 에이전트를 선택할 수 있다. 이러한 문제는 기존 벤치마크가 이러한 차이를 단일 이진 점수로 압축하기 때문에, 실무자들은 에이전트 호출이 실패하는 곳을 진단할 수 없다. 에이전트 호출 평가의 한계를 극복하기 위해, 우리는 SAAG이라는 연쇄적인 진단 프레임워크를 제안한다. 이 프레임워크는 에이전트 호출 평가를 세 가지 연속적인 단계로 분할한다: 레지스트리 동형성, 구조적 완전성, 인자 고정. 각 단계는 해석 가능한 단계별 진단을 생성한다. 이 진단은 또한 반복적인 자기 수정을 가능하게 한다: 예측 실패 시 단계별 신호가 특정한 수정을 지시하면서, 실제 값을 유출하지 않는다.

SAAG 프레임워크의 평가

우리는 레지스트리 크기가 5, 10, 15 에이전트인 데이터셋을 기반으로 제어된 벤치마크에서 SAAG 프레임워크를 평가한다. 구조화된 피드백은 단일 패스 인페런스와 비유사적인 이진 피드백보다 인자 정밀도 향상과 값 허구 감소를 일관되게 제공한다. 그러나 종단 간 F1 점수 향상은 모델 종류와 레지스트리 크기에 따라 다양하다. 이 결과는 다양한 모델 종류와 레지스트리 크기에서 에이전트 호출 신뢰성 향상을 위한 단계 분할 진단 평가의 필요성을 제안한다. 이러한 연구 결과는 대규모 언어 모델(LLM)의 에이전트 호출 평가를 더 정확하고 신뢰성 있게 수행하는 데 도움이 될 수 있다.