언어 모델의 분포를 더 나아가: 언어 모델 생성의 분포를 시각화하고 비교하는 방법

언어 모델을 사용하고 평가할 때 일반적으로 단일 출력만을 고려하지만, 각 출력은 가능성 있는 완성의 광범위한 분포에서 단일 샘플에 불과합니다. 이러한 상호 작용은 분포의 구조, 예를 들어 모드, 비통상적인 엣지 케이스 및 작은 프롬프트 변경에 대한 민감성,을 숨기고 사용자는 개방형 태스크에 대한 프롬프트를 반복적으로 반영할 때 비난에 대한 일반화를 과도하게 할 수 있습니다.

연구자들의 경험을 바탕으로 GROVE를 소개합니다.

GROVE는 다중 언어 모델 생성을 텍스트 그래프를 통해 오버랩되는 경로로 표현하는 인터랙티브 시각화 도구입니다. GROVE는 공통 구조, 분기점 및 클러스터를 드러내면서 raw 출력에 대한 액세스를 보존합니다.

도구를 평가하기 위한 세 가지 크라우드 소싱 사용자 연구

3개의 크라우드 소싱 사용자 연구(N=47, 44, 40 참여자)를 통해 3개의 분포적 태스크를 대상으로 평가했습니다. 결과는 하이브리드 워크플로우를 지지합니다: 그래프 요약은 다양성 평가와 같은 구조적_FORWARD 여지에 강력한 영향을 미치지만, 세부적인 질문에 대한 직접 출력 검토는 여전히 더 강력합니다.

결론

GROVE는 언어 모델의 분포를 더 나아가고, 분포의 구조를 시각화하고 비교하는 방법을 제공합니다. GROVE는 언어 모델을 사용하고 평가하는 동안 사용자가 단일 출력에만 집중하는 것을 막고, 분포의 구조를 고려하는 것을 도와줍니다. GROVE는 언어 모델의 분포를 더 나아가고, 언어 모델의 성능을 평가하는 데 도움이 될 것입니다.