LLM이 제안한다, CEO가 결정한다: 장기적-agent에서 의무 드리프트와 결속 드리프트를 분리하는 자기 확인 agent 도구

장기 시야를 가진 agent의 신뢰성을 확인하는 방법은 무엇일까요? agent의 상태와 자기 보고는 신뢰할 수 없는 것이기 때문입니다. 우리는 agent를 위한 인스트루먼트를 제시합니다. 이 인스트루먼트는 verification이 구조적이게 하여, post-hoc 방식이 아닌 방식으로 하도록 설계되었습니다. 결정론적 인 Executive는 모든 믿음을 소유하며, 언어 모델은 유형이 지정된 제안만 제출할 수 있고, 행위 이전에 preregister된 예측과 관찰을 매치하는 코드가 있어야만 주장(claim)이 인정됩니다. 두 가지 속성이 인스트루먼트를 agent의 과학을 검증하는 것에 사용할 수 있는 verifier로 만듭니다. agent의 모든 실행은 write-error, render-size, 또는 salted-canary-echo floor를 침해할 때마다(self-invalidating) 자신을 invalid화합니다. 첫 8개의 아키텍처 실행 중 4개가 실제 결함을 인지하고, 각 지역화한 결함을 가진 것이였습니다. 또한 render-invisible shadow reference는 모든 ablation cell에서 full system이 commit할 계획을 컴파일하여, 테스트할 mechanism이 제거된 곳에서도 drift metrics를 정의합니다. 이 인스트루먼트를 사용하여, 장기 시야를 가진 모든 agent가 겪는 한 가지 실패 결과에 대해 clean한 결과를 보고합니다. commit mechanism을 ablating하면 goal-abandonment이 0.00에서 1.00로 바뀌지만, binding error는 0.00로 유지됩니다. (각 셀당 3개의 시드, 실행당 최대 394개의 reference beats, 모든 실행이 valid gate로 제한됨). binding channel은 repair를 ablating한 후 per-beat drift로 다시 나타나지 않습니다. binding은 code-owned이기 때문에, failure class는 구조적으로 흡수되고, 그 결과는 hypothesis formation에서 한 층 위로 붕괴로 나타납니다. 우리는 ARC-AGI-3에서 52개의 gated 실행 동안 zero level의 completions이 있는 task efficacy가 null임을 보고합니다. 이는 preregister된 구조적 defeater로, task efficacy가 null임을 나타냅니다. 이 contribution은 agent 개발에 대한 verification 방법론과 drift decomposition을 측정할 수 있도록 만드는 것입니다.