AI 연구 시스템을 위한 분석 프레임워크: GAMBLe

AI 연구 시스템(AI-Driven Research Systems, ADRS)은 대규모 언어 모델(LLM)을 자동 평가 시스템과 결합하여 알고리즘, 증명, 설계를 발견하는 시스템이다. 이러한 시스템은 다양한 분야에서 최적화되고 채택되고 있지만, 이를 분석하기 위한 도구는 속도에 따라 가지 못하고 있다. ADRS의 성능은 구성 요소 간의 상호 작용에 의해 결정되지만, 이 상호 작용은 이해하기 어렵고 비용이 많이 들며, 표준적인 수렴 보증에 잘못된 것으로 나타났다. 이러한 보증은 ADRS 프로세스의 구조적 가정에 의존하지만, 이 가정은 실제로 성립하지 않는다.

GAMBLe 프레임워크

GAMBLe 프레임워크는 ADRS의 동작을 네 가지 매개 변수(G, A, M, B)와 하나의 합성 객체(L_eff)로 분해한다. 여기서 G는 생성기, A는 평가기, M은 발견 기전, B는 비용이다. GAMBLe 프레임워크는 생성기와 평가기 간의 상호 작용을 분석하여, 각 문제별 최적화 랜드스케이프의 구조가 달라진다는 것을 보여준다.

실험 결과

GAMBLe 프레임워크를 760개 이상의 복제 실행(46,000 이상의 반복)에 적용하여, 생성기, 발견 기전, 비용을 다양한 조합으로 실험하였다. 실험 결과는 생성기나 발견 기전의 순서가 존재하지 않으며, 선구적 모델이 오픈 소스 대안보다 성능이 떨어지고, 가장 단순한 발견 기전이 최신의 메타 서치보다 성능이 좋다는 것을 보여주었다.

결과

• 부족한 비용(60 반복 실행)에 대해, 적절한 구성 요소 선택은 성능 향상을 13-67%와 검색 효율성을 6-39배로 개선할 수 있다.