다중 테이블 Q&A를 위한 합성 대비적 추론

다중 테이블 질문과 대답 모델은 관련된 증거를 검색하고, 스키마를 연결하고, 관계형 테이블에 대한 합성적 추론을 수행해야 한다. 그러나 현재 다중 테이블 질문과 대답 자원은 일반적으로 질문과 최종 대답을 제공하지만, 대답의 유래 설명을 제공하는 합리적 지시가 부족하다. 이러한 빈틈을 채우기 위해 다중 테이블 질문과 대답을 위한 합성 대비적 추론-트레이스 데이터 세트를 구성하는 연구가 진행되었다.

이 연구에서는 유효한 긍정 트레이스와 다양한 대규모 언어 모델을 사용하여 합리적인 부정 트레이스를 생성한다. 생성된 트레이스를 사용하여 대조적 선호도 최적화를 통해 오픈 웨이트 대규모 언어 모델을 미세 조정한다. 실험 결과, 대조적 선호도 최적화는 질문과 대답으로 지시된 미세 조정에 대한 평균적인 향상율이 9.7%-16.3%이며, 다중 테이블 질문과 대답에서 최대 21%의 향상을 달성한다.

연구 결과

연구 결과는 다양한 긍정 및 부정 트레이스 생성기가 대조적 신호를 강화한다고 보여준다. 또한 자동화된 뿐만 아니라 인간 평가 모두에 의하면 생성된 트레이스 쌍은 크게 신뢰할 수 있고, 일관적이고, 의미적으로 대조적이다. 이러한 결과는 다중 테이블 질문과 대답 모델의 성능을 향상시키는 데 중요한 역할을 할 수 있다.

이 연구는 다중 테이블 질문과 대답 모델의 성능을 향상시키는 데 새로운 접근 방법을 제시한다. 합성 대비적 추론-트레이스 데이터 세트를 구성하여 모델을 미세 조정하는 방법은 향후 다중 테이블 질문과 대답 연구에 중요한 기여를 할 수 있다. 또한, 이 연구는 대규모 언어 모델을 사용하여 합리적인 부정 트레이스를 생성하는 방법의 가능성을 보여준다.