모델 능력 향상 Closed-Loop 데이터 및 평가

대규모 언어 모델의 성능을 향상시키기 위해서는 모델의 능력을 평가하고 데이터를 조정하는 것이 중요합니다. 그러나 모델의 능력은 직접 관찰되지 않기 때문에, 평가와 데이터 조정이 쉽지 않은 문제입니다. 평가 결과는 샘플, 프롬프트, 디코딩, 및 점수 규칙을 하나의 노이즈 점수로 압축하기 때문에, 모델의 약점을 정확하게 식별하기가 어렵습니다.

능력 분류

이러한 문제를 해결하기 위해 능력 분류라는 개념을 사용할 수 있습니다. 능력 분류는 샘플이 공통된 배경 조건, 작업 유형, 해결 연산, 및 출력 제약 조건을 공유하는 평가 샘플의 집합입니다. 능력 분류는 모델의 약점을 지역화할 수 있을 정도로 정밀하지만, 집계가 가능하며, 벤치마크 이름이 너무하고, 단일 샘플이 너무 노이즈가 많은 경우에도 안정적입니다. 능력 분류를 사용하면 평가 분류, 비-지시 데이터 분류, 및 매핑 규칙을 통해 벤치마크 수준의 실패를 대상화 가능한, 테스트 가능한 데이터 조정을 위한 닫힌 루프를 형성할 수 있습니다. 이러한 접근법은 모델의 약점을 식별하고 데이터를 조정하여 모델의 성능을 향상시키는 데 도움이 될 수 있습니다. 실제로, 테스트 사례에서 데이터를 제거하거나 추가하여 모델의 성능을 향상시키는 데 성공한 사례가 있습니다. 이러한 결과는 능력 분류와 닫힌 루프 접근법의성을 보여줍니다.