일체형에서 모듈형으로 : 세그먼트 단위 자동 프롬프트 최적화

자동 프롬프트 최적화(Automatic Prompt Optimization, APO)는 프롬프트를 일괄적으로 수정하는 경향이 있어, 한 가지 성능이 향상되면 다른 성능이 저하될 수 있습니다. 우리는 SAPO라는 세그먼트 기반 APO 방법을 제시하고 있습니다. SAPO는 프롬프트를 역할, 문맥, 작업, 출력 형식으로 분해한 다음, 상위 5개와 하위 5개의 예제에 기반하여 대상 향상을 적용합니다. 최적화 루프는 한 대규모 언어 모델(LLM)와 정적 메타 프롬프트와 구조화된 출력을 사용하여 세그먼트화, 약점 분석, 후보 생성을 수행합니다. 우리는 훈련/검증 프로토콜과 두 단계의 생성 과정에 대해 설명하고 있습니다: (1) 세그먼트 단위 진단 및 추천 도출, (2) 약/강 세그먼트 신호에 의해 제약된 후보 합성. SQuADv2, TweetEval, XSUM, CommonGen, 및 GSM8K를 위한 GPT-3.5-Turbo 및 GPT-4o-mini의 평가 설정에서, SAPO는 Zero-shot 및 강력한 APO 베이스 라인인 APE, OPRO, EvoPrompt, GEPA, StraGO와 비교하여 평균 성능을 달성합니다.