더 적은 맥락, 더 나은 agent: 장기 목표를 가진 도구 사용 LLM agent를 위한 효율적인 맥락 엔지니어링

대규모 언어 모델(LLM)이 기업 워크플로우에서 자율 제어하는 agent로 배치된 경우, 기업 시스템에서 TOOL RESPONSE가 verbose하다는 문제가 발생하여 Context Overflow, Stale-State Error, 고인식 비용이 발생하는 문제가 있다. Microsoft Dynamics 365 Finance and Operations를 사용한 자동 지출 항목화 작업에서 Model Context Protocol 도구를 사용하여 이 문제를 연구했다. 50-task 호텔 지출 benchmark에서 GPT-5 4개의 설정을 평가했다. 사용자 모델이 없는 경우, 전체 대화 기록을 유지하는 경우, 최근 5개의 TOOL CALL/RESPONSE pair만 유지하는 경우, 자동 요약을 사용하는 경우의 결과를 비교했다. 사용자 모델이 유지되는 경우, 결과를 5번의 independent run에서 평균화했다. Context-engineering 비교에서 사용자 모델은 유지되었다. 사용자 모델이 없는 baseline은 8.0%의 완전한 항목화만 가능했다. 전체 기록을 유지하는 경우, 71.0%의 완전한 항목화를 가능하게 하지만, 1,480,996개의 토큰과 14.56시간이 소요되었다. 최근 5개의 TOOL CALL만 유지하는 경우, 79.0%의 완전한 항목화를 가능하게 하지만, 토큰 사용을 535,274개로, 실행 시간을 5.39시간으로 줄였다. 자동 요약을 추가하는 경우, 91.6%의 완전한 항목화를 가능하게 하고, 평균 항목화 금액을 99.64%까지 가능하게 하며, 553,374개의 토큰과 5.79시간이 소요되었다. 추가로, 신뢰도 간격, 효과 크기 분석, 자르기 및 요약 창의 민감도, 실패 분석, 5종류의 지출 항목을 3개의 카테고리로 분류한 결과, Claude Sonnet 4.5와의 교차 모델 증거도 보고했다. 이 결과는 이 범주의 기업 TOOL-USE 워크플로우에서 최근 TOOL INTERACTION을 선택적으로 유지하고 compact한 요약을 사용하는 것이 전체 기록을 유지하는 것보다 신뢰성과 효율성이 개선되는 것을 보여준다.