코드 에이전트 보상에 대한 은색 총알은 없어요: 확인 지평선

코드 에이전트 보상의 어려움

전통적인 직관에 따르면, 코딩 에이전트에서 솔루션을 확인하는 일은 비교적 쉬운 일이라고 생각해 왔습니다. 그러나 기초 모델의 사고 능력이 발전하고 엔지니어링 기술이 복잡해지면서, 이 생각은 더 이상 유효하지 않습니다. 복잡한 후보 솔루션을 생성하는 일은 더 이상 어려운 일이 아니지만, 그들을 신뢰할 수 있게 하는 것은 더 어려운 문제가 되었습니다.

이러한 어려움은 두 가지 요인에 기인합니다. 첫째, 의도는 본질적으로 의도된 목적을 충족했는지 확인하는 데 충분히 명확하지 않습니다. 둘째, 모델 학습 동안 최적화는 Proxy와 의도 사이의 간격을 넓히고, 보상 HACKING 또는 신호 saturate로 나타납니다. 이러한 문제를 해결하기 위해, 신호의 품질을 3개의 dimension으로 characterization하는 것이 필요합니다 - 확장성, 충실성, 내구성.

보상 설계의 핵심 문제

우리는 보상 구성의 4가지 유형을 연구했습니다: 일반 코딩 작업을 위한 테스트 확인기, 프론트엔드 작업을 위한 rubric 확인기, 실제 월드 에이전트 작업을 위한 사용자 확인기, 그리고 장기 수명 작업을 위한 자동화된 에이전트 확인기. 이러한 연구를 통해, 우리는 보상 설계의 핵심 문제와 더 효과적으로 보상 신호를 활용하는 방법에 대한 심층 분석 및 실험을 수행했습니다.

실험 결과, 특정 확인 설계가 효과적으로 보상 HACKING을 억제할 수 있고, 목표 완료 품질을 향상할 수 있는 것으로 나타났습니다. 이러한 경험들은 정책 능력이 계속 성장하는 동안, 어떤 고정된 보상 함수도 효과적이지 않으며, 확인은 생성기에 동시에 발전해야 함을 시사합니다.