시스템 프롬프트 최적화에 대한 연구: 동적 표현을 통한 베이즈 최적화

시스템 프롬프트는 현대 AI 시스템의 중심 제어 메커니즘으로, 대화, 작업 및 사용자 인구를 통한 행동을 형성합니다. 그러나 피드백이 예시별 레이블, 오류 또는 비판이 아닌 집계 메트릭으로만 제공되는 경우 프롬프트를 조정하는 것이 어렵습니다. 본 연구에서는 집계 피드백 설정을 단순화된 블랙박스 최적화로 연구합니다.

ReElicit: 베이즈 최적화 프레임워크

ReElicit는 대규모 언어 모델(LLM)을 사용하여 compact하고 해석 가능한 특성 공간을 유도하고 프롬프트를 이 특성 공간으로 매핑합니다. 확률적 가우시안 프로세스 서브레이트를 사용하여 수집된 프롬프트 점수를 기반으로 acquisition 함수는 목표 특성 벡터를 선택하고 LLM은 이를 구현하고 최적화하여 배포 가능한 시스템 프롬프트로 만듭니다.

결과

본 연구에서는 10개의 시스템 프롬프트 최적화 태스크에 대해 30개의 평가 예산을 사용하여 ReElicit의 성능을 평가했습니다. 결과는 ReElicit가 대표적인 집계 전용 프롬프트 최적화 베이스라인 중에서 가장 강력한 집계 성능 프로파일을 달성했다는 것을 나타냅니다.

결론

이 연구는 대규모 언어 모델(LLM)이 자연어 아티팩트의 베이즈 최적화에 적합한 적응적 의미 표현 빌더로 사용될 수 있음을 보여줍니다. 본 연구의 결과는 시스템 프롬프트 최적화에 대한 연구에 새로운 관점을 제공하고 향후 연구에 대한 지침을 제공할 것입니다.