도구 기반 최적화: 의도적인 행동 최적화에 대한 명시적 세계 모델

도구 기반 최적화 소개

대규모 언어 모델 에이전트의 성능은 고정 모델 주변의 도움 구조의 개선에 따라 결정된다. 도움 구조를 개선하기 위한 일반적인 방법 중 하나는 코드 에이전트를 최적화 기법으로 사용하는 것이다. 코드 에이전트는 현재 점수와 추적 정보를 읽어 소스 코드를 반복적으로 편집하고, 새로운 후보를 생성한다. 각 편집은 환경이 반응할 것이라는 믿음에 따라 선택된다. 이러한 믿음은 일반적으로 암시적으로 존재한다. 코드 에이전트의 현재 호출에서 이 믿음은 논리적으로 존재하거나, 파라미터에 잠재되어 있지만, 명시적으로 작성된 것은 아니다. 이러한 믿음은 신뢰도 조정 최적화라는 새로운 방법을 통해 명시적으로 작성된다. 신뢰도 조정 최적화는 새로운 후보를 평가할 때마다 믿음을 문서화하고, 그 문서를 지속적으로 수정한다.

신뢰도 조정 최적화의 효과

신뢰도 조정 최적화를 일반적인 루프에 추가하면, 환경 질의응답, 도구 사용 질의응답, 코드 액션 앱 에이전트, 그리고 터미널 에이전트를 포함하여, 점수와 추적 정보만 사용하는 제어 그룹보다 더 높은 학습 통과율을 달성한다. 대체 모델 전환 이후, 고정 모델이 교체되고 도움 구조만 유지되는 경우, 선택된 신뢰도 조정 최적화 도움 구조는 테스트한 모든 작업에서 우세하다. 그러나, 문맥 창 오버런이 문서를 완성하지 못할 때 제외된다. 오프라인 추출 후, 문서가 실제 정보를 포함하는지 여부를 확인한다. 새롭게 생성된 예측기가 누적된 문서를 참고하여 환경이 반응할 것이라는 예측이, 예측기가 문서를 사용하지 않는 경우와, 동일한 형식의 문서지만 내용이 거짓된 경우보다 더 정확하게 예측한다. 이 비교는 문서의 내용이 재사용 가능한 정보를 포함한다는 것을 의미한다. 이러한 결과는 신뢰도 조정 최적화가 효과적인 도구 기반 최적화 방법임을 보여준다.