LLM 툴 사용의 아는 것과 하는 것의 격차: 모델 적응 도구의 필요성

LLM 툴 사용의 아는 것과 하는 것의 격차

대규모 언어 모델(LLM)은 자율적 인 에이전트로 작동하여 직접 답변하기 versus 외부 도구를 호출할 때를 결정해야 합니다. 그러나 도구의 필요성은 implies 모델에 독립적 인 속성으로 인식되며, 대개 명백한 경우 (예: 날씨를 가져오기 vs. 텍스트를 재구성하기)로 제한되었습니다. 그러나 실제로 도구의 필요성은 더 복잡합니다. 예를 들어, 강력한 모델이 해결할 수 있는 문제를 약한 모델이 도구를 사용해야 할 수 있습니다.

모델 적응적 인 도구의 필요성

이 연구에서는 모델 적응적 인 도구의 필요성을 정의하고, 이 정의에 따라 어휘 및 사실적 QA 데이터 세트에서 4개의 모델의 도구 호출 행동을 비교합니다. 결과는 26.5-54.0% 및 30.8-41.8%의 성능 불일치가 발견되었습니다.

도구 사용의 두 단계

이를 해결하기 위해, 우리는 도구 사용을 두 단계로 나누었습니다: 내부 인식 단계와 실행 단계. 두 단계 모두 linearly decodable이지만, probe directions는 late-layer, last-token regime에서 nearly orthogonal이 됩니다.

트레일러 분석

샘플의 트레일러를 추적하여, 우리는 cognition-to-action transition에서 불일치가 대부분 집중되는 것을 발견했습니다.

결론

이러한 결과는 LLM 도구 사용에서 아는 것과 하는 것의 격차가 존재한다는 것을 보여줍니다. 도구 사용의 신뢰성을 개선하기 위해서는 도구가 필요할 때 이를 인식하는 것만큼, 그 인식을 행동으로 옮기는 것이 중요합니다.