대형 언어 모델에서 정보 판단

기존의 검색 엔진을 대체할 대규모 언어 모델(LLM)은 인터넷과 같은 외부 지식 소스를 사용하기도 한다. 이 모델들이 정보를 적절히 가중치로 부여하며, 신뢰할 수 있는 소스를 더 많이 고려하고 (소스 판단력) 진실한 정보가 더 가까워질 때 claim을 더 많이 업데이트 하는가? 우리는 이 문제를 정보 판단력으로 정의하고, 세 가지 명제적 원칙에 기반한 interpretable metrics를 사용하는 Learn2Discern (L2D)이라는 실험적 프레임워크 및 벤치마크를 제시한다. 사용자 연구(n=299)를 통해, 실제 LLM 사용자가 세 가지 명제적 원칙을 모두 지지하며, 위반된 경우 신뢰도와 사용 의도 모두 감소한다는 것을 확인했다. 13개의 모델과 거의 670K개의 시험이 진행된 결과, 모델들이 두 가지 차원 모두에서 일관된 실패를 보였는데, 소스 판단력과 진실 판단력에서 모두 chance 수준으로 성능을 보였으며, 소스 인기보다 소스 신뢰도가 두 배 더 많이 고려되었고, claim이 진실한 정보와의 위치가 개선되거나 악화되더라도 update의 정도는 거의 동일했다. 모델이 외부 지식을 통합하는 가장 효과적인 방법은, 모델의 prior 가 이미 가장 정확한 경우였다. 새로운 및 더 큰 모델들은 진실 판단력을 향상시키지만, 소스 판단력은 향상되지 않았다. 이 blind spot은 모델의 복잡도가 해결하지 못했다. 우리는 정보 판단력을 향상시키기 위한 간단한 inference-time interventions를 제안한다. 우리의 데이터 세트 및 설문 조사 결과를, LLM이 기존의 검색 엔진을 대체하는 데 중요도가 증가하는 core alignment property를 테스트하기 위한 플랫폼으로 공개한다.