다음 토큰 예측 이외의 RLVR 증명 개념: 아틀라스틱 워크플로우에서 도구 사용_AGENT

대규모 언어 모델(LLM)은 다음 토큰을 예측하는 것을 목표로 훈련되며, 특정 API 내에서 행동하는 것을 목표로 하지 않는다. 특정한 기업 SaaS 워크플로우에서 성공은 오른쪽 엔드포인트에 맞는 오른쪽 중첩 인수들에 맞는 오른쪽 순서에서 발생하는 것을 의미한다. 이 목표와 실제가 맞지 않으면 silent failure로 나타난다. 예를 들어, 필수 field가 사라지고, 도구가 잘못 생성되거나, 단 한번의 읽기 후 바로 중단된다. 우리는 직접 목표 환경에서 적용되는 Reinforcement Learning with Verifiable Rewards (RLVR)가 이 gap을 닫힐 수 있는지 여부를 물어본다. 그 증명으로 Jira REST v3와 Confluence v2 API의 schema fidelity를 구현한 5개의 시맨틱 환경을 구축했고, tool-call trace에서 reward를 계산했다. 이 환경에서는 live API, learned judge, human label이 필요하지 않다. GRPO 훈련을 위한 same checkers에서 Qwen3-1.7B와 Qwen3.5-4B를 평가했을 때, degenerate하지 않은 4개 scenario에서 RL-trained 정책은 average reward를 4B-baseline의 0.35--0.92에서 0.95--1.00로 높였다. 특히 Confluence page creation에서 가장 큰 gain이 발생했다(0.35 -> 1.00). 이 결과를 outcome-optimised small models for niche enterprise APIs를 위한 초기 단계로 위치시키고, workshop reader가 고려해야 할 두 가지 제한점을 강조한다. 첫 번째 제한점은 verifiable rewards를 hand-crafting하는 것이 report된 endpoint의 handful를 넘어서는 scale이 없다는 점이다. 두 번째 제한점은 prompt된 4B가 saturating reward shape를 가진 하나의 scenario(ticket-transition)에서 max out이 발생한다는 점이다.