코세트 이전 스코어 세트: LLM 벤치마크 평가-무 감독 프롬프트 서브셋 선택

연구팀은 LLM 벤치마크 코세트 선택에 대해 연구했는데, 이는 작은 프롬프트 서브셋을 여러 벤치마크에 걸쳐 선택하여 전체 벤치마크 셋에서 얻은 모델 점수 및 순위를 근사하는 것이다. 연구팀은 평가-무 감독 벤치마크 코세트 선택 방법을 제안했는데, 이 방법은 모델 평가 결과를 사용하지 않고, 미세한 단계로 여러 벤치마크에 걸쳐 프롬프트 서브셋을 선택하는 것이다.

연구팀은 다양한 submodular subset selection 방법을 사용했는데, determinantal point process (DPP) 기반 접근법, submodular mutual information 함수, 및 facilty location 기반 함수가 포함되어 있다. 연구팀은 새로운 대규모 벤치마크 셋인 35개 벤치마크, 5개 기능 카테고리, 18개 LLM, 및 61,000개 프롬프트를 사용하여 실험을 수행했다.

연구팀은 facilty location (FL) 함수가 inexpensive semantic prompt embeddings만을 사용하여 LLM 점수를 더 잘 보존하는 것을 발견했다. 연구팀은 FL 함수가 12개 score-based 및 diversity-based baseline보다 더 좋은 성능을 보인다는 것을 확인했다. 또한 연구팀은 FL 함수가 MMLU 및 MTEB leaderboards에서 state-of-the-art baseline과 비교했을 때 성능이 비슷하거나 뛰어난다는 것을 발견했다.

연구팀의 결과는 submodularity가 일반적으로 강력하고 신뢰할 수 있는 벤치마크 압축 도구라는 것을 나타낸다.

결과

• facilty location (FL) 함수가 inexpensive semantic prompt embeddings만을 사용하여 LLM 점수를 더 잘 보존한다.
• FL 함수가 12개 score-based 및 diversity-based baseline보다 더 좋은 성능을 보인다.
• FL 함수가 MMLU 및 MTEB leaderboards에서 state-of-the-art baseline과 비교했을 때 성능이 비슷하거나 뛰어난다.