코딩_AGENT 들은 ARC-AGI-3을 해결하기 위해 실행 가능한 월드 모델, 단순화, 및 검증이 필요합니까?

연구자들은 이전 연구에서 개발한 인공지능 agent인 ARC-AGI-3 agent가 성능을 향상시키는 데 어떤 요인이 중요한지 밝히기 위해 네 가지 nested Codex-based agent를 개발했습니다. 이 네 가지 agent는 텍스트 기반 baseline, 유연한 인터페이스 executable world model, 동일한 executable model에 scheduled simplification을 추가한 model, 그리고 고정된 인터페이스 verification treatment으로 구성되어 있습니다. 이 연구에서는 gpt-5.4와 gpt-5.5를 사용하여 네 가지 agent를 고 및 xhigh reasoning effort 조건에서 평가했습니다. 추가로, 텍스트 및 verification variant를 gpt-5.6-sol과 함께 xhigh 및 max reasoning effort 조건에서 평가했습니다. 결과는 agent variant가 더 강한 모델과 더 많은 reasoning effort와 함께 성능을 향상시키는 데 도움이 된다는 것을 보여주었습니다. 각 모델-노력 설정에서 변형 간의 차이는 기대보다 작았으며, 개별 구성 요소의 효과는 설정에 따라 다릅니다. persistent executable deliverable을 요구하는 것은 전반적으로 유익하지 않습니다. 텍스트 기반 variant는 gpt-5.5의 두 가지 설정에서 유연한 인터페이스 executable variant를 능가했습니다. 간소화는 네 가지 모델-노력 설정 중 세 가지에서 성능을 향상시켰습니다. 그러나 가장 약한 설정은 예외였습니다. complete verification treatment은 네 가지 설정 모두에서 1위였습니다. 그러나 더 많은 자원을 사용했습니다. gpt-5.6-sol follow-up에서 verification variant는 모든 public game을 완벽하게 해결하고, 99%의 RHAE를 달성하며, 인간 baseline보다 총 행동의 절반 미만을 사용했습니다. 그러나, 이 결과는 모델이 이러한 게임을 개발하기 전에 개발되었고, 독립적인 성능 테스트가 진행되지 않았기 때문에, 이 결과는 public set의 saturation만을 나타낸다.