인터넷 규모의 정보 검색 및 추출을 위한 이중 계층 다중 에이전트 LLM 시스템: Web2BigTable

인터넷에서 정보를 검색하고 추출하기 위한 이중 계층 다중 에이전트 대규모 언어 모델(LLM) 시스템: Web2BigTable

인터넷에서 정보를 검색하는 에이전트는 두 가지 đòi을 충족해야 한다. 하나는 단일 타겟에 대한 깊은 사고이고, 다른 하나는 여러 엔티티와 다종류의 소스에 대한 구조화된 집계이다. 현재 시스템은 두 가지 모두에서 성능이 좋지 않다. 넓이 지향적인 태스크는 넓은 범위의 커버리지와 엔티티 간 일관성을 갖춘 스키마 정렬된 출력을 요구한다. 깊이 지향적인 태스크는 긴 분기하는 검색 경로에 대한 일관된 사고를 필요로 한다.

Web2BigTable은 이 두 가지 지향성을 모두 지원하는 웹-테이블 검색을 위한 다중 에이전트 프레임워크이다. Web2BigTable은 상위 레벨의 조율자와 하위 레벨의 작업자 에이전트로 구성된 이중 계층 아키텍처를 채택한다. 상위 레벨의 조율자는 태스크를 하위 레벨의 작업자 에이전트가 병렬로 해결할 수 있도록 분해한다.

closed-loop run--verify--reflect 프로세스를 통해 프레임워크는 시간이 지남에 따라 지속적인 외부 메모리와 함께 분해와 실행을 공동으로 개선한다. worker 에이전트는 공유 워크스페이스를 통해 협력하며, 부분적인 결과를 공유하여 중복된 탐색을 줄이고, 충돌하는 증거를 조정하고, 보다 넓은 커버리지 бак을 채우는 데 적응할 수 있다.

Web2BigTable은 WideSearch 평가에서 새로운 최고 성능을 달성하였으며, Avg@4 Success Rate가 38.50 (2위의 5.10에 비해 7.5배), Row F1가 63.53 (+25.03), Item F1가 80.12 (+14.42)로 달성하였다. 또한 XBench-DeepSearch에 대한 깊이 지향적인 검색에서 73.0의 정확도를 달성하였다.

코드는 https://github.com/web2bigtable/web2bigtable에서 제공된다.