웹리카: 시각 웹 에이전트를 위한 대규모 및 재현 가능한 훈련 환경

웹은 복잡하고 끊임없이 변화하는 환경으로, 시각 웹 에이전트를 위한 훈련 데이터를 확장하는 것은 어려운 과제입니다. 현재의 데이터 수집 시도는 주로 오프라인 트래제로의 초점을 맞추거나 강화 학습(RL) 훈련을 위한 몇몇 시뮬레이션 환경을 사용하여, 웹의 다양성을 포착하지 못하고 있습니다. 이러한 문제를 해결하기 위해, 웹리카(웹 복제)라는 프레임워크를 제안합니다. 웹리카 프레임워크는 HTTP 레벨 캐싱을 사용하여 안정적인 시각 상태를 캡처하고 재생하며, 상호 작용을 유지합니다. 또한 대규모 언어 모델(LLM) 기반 환경 합성기를 사용하여 실제 웹 사이트와 웹 내비게이션의 핵심 기술을 기반으로 합니다. 이 프레임워크를 사용하여, 우리는 RL 훈련을 수천 개의 다양한 환경과 태스크에 확장할 수 있습니다. 우리의 최상의 모델, 웹리카-8B는 여러 웹 내비게이션 벤치마크에서 열린 가중치 기준과 같은 크기의 모델을 능가하며, 추가 테스트 시간 컴퓨팅에 유리하며, API 모델과 경쟁할 수 있습니다. 이러한 결과는 웹리카 프레임워크가 시각 웹 에이전트를 위한 대규모 및 재현 가능한 훈련 환경을 제공하며, 웹의 다양성을 포착하고, RL 훈련을 확장할 수 있음을 보여줍니다. 결론적으로, 웹리카 프레임워크는 시각 웹 에이전트의 훈련을 위한 새로운 가능성을 열어줌으로써, 웹 내비게이션과 같은 복잡한 태스크를 해결하는 데 중요한 역할을 할 수 있습니다. 또한, 이 프레임워크는 웹의 다양성을 포착하고, RL 훈련을 확장할 수 있는 새로운 방향을 제시함으로써, 시각 웹 에이전트의 개발에 기여할 수 있습니다.