모드 붕괴를 넘어: 생성 흐름 네트워크를 통한 전문가 대화 생성을 통한 다양성 증진

기계 학습 모델(LLM)의 후 훈련을 위한 높은 품질의 합성 데이터는 다양한 전문가 전략과 대화 내의 결정을 표현하는 적응형 AI 응용 프로그램의 핵심입니다. LLM을 직접 유도하거나 사용 목적 시나리오에 조건을 걸면 다양성이 낮은 데이터가 강도 모드에 압축됩니다. 우리는 유도 플로우 네트워크(GFlowNets)를 사용하여 다양하고 높은 품질의 합성 데이터를 생성하는 방법을 제안합니다. 우리는 가우시안 혼합 밀도(gaussian mixture density)에서 키 상호 작용 특성(예: 혼동 에피소드 동적, scaffold directive balance)으로 대화 구조를 생성하는 GFlowNets를 훈련하여 샘플링 전문가 전략을 훈련 데이터에서 발생 빈도에 비례하게 하도록 합니다. 교육 및 감정 지원 대화의 두 가지 구조적으로 DISTINCT한 도메인에서, 우리의 GFlow 기반 합성 데이터 생성 방법은 강화 학습 및 끝-to-end LLM의 baseline보다 충실도, 모드 커버리지 및 진정성의 균형을 제공합니다. 훈련 데이터를 복사하지 않고. 합성 GFlowNet 생성 대화에 대해 평가한 세 가지 다운스트림 결과 예측 작업에서, 훈련된 분류기는 경쟁적 합성 baseline보다 더 강한 훈련 신호를 제공합니다.