LLM이 사용하는 드래프트-검증-수정 Pipe라인이 의사소통의 암묵적 모호성 문제를 해결할 수 있을까?

대규모 언어 모델(LLM)들이 사용하는 드래프트-검증-수정 Pipe라인은 인공지능 모델을 확장할 때 유용한 패턴이다. 이 패턴은 한 LLM이 초안을 작성하고, 두 번째 LLM이 초안을 검토하고 feedback을 제공하고, 세 번째 LLM이 그 feedback을 바탕으로 초안을 수정하여 최종 출력으로 만든다.

그러나 이 Pipe라인의 단계 간에 Context가 전달되면서, 각 단계의 LLM이 '이전'과 같은 Context-dependent 표현을 다르게 해석할 수 있다. 이러한 경우 표현은 의사소통의 암묵적 모호성 문제를 야기한다.

연구자들은 의사소통의 암묵적 모호성 문제를 해결할 수 있는지 연구하기 위해 합성 데이터셋을 만들었다. 데이터셋에는 10개의 기본 예제가 있었고, 각 예제는 세 가지 조건으로 나누어졌다. 조건은 초안 단계의 LLM(어시스턴트)이 표현을 올바르게 해석했는지, 검증 단계의 LLM(그레이더)이 올바르게 해석했는지, 수정 단계의 LLM(메타-평가자)이 독립적인 사유를 통해 올바른 해석을 찾았는지에 따라 달랐다.

연구자들은 6개의 모델(3개의 제공자)과 21개의 사유력 구성으로 실험을 진행했다. e-values를 사용하여 순차적인 테스트를 진행했고, 두 개의 실험(기본 실험 및 제거 실험)을 진행했다. 제거 실험에서는 그레이더의 feedback에서 오류 분류 레이블을 제거했다.

연구 결과, GPT-5.2의 성능은 0.156에서 0.942로 향상했고, Gemini 3 Pro의 성능은 0.94 이상으로 유지되었다. Gemini 3 Pro의 낮은 사유력 구성에서는 GPT-5.2의 높은 사유력 구성보다 약 5% 낮은 비용으로 높은 성능을 보였다.

그러나 Pipe라인의 오류가 발생할 경우, 모호한 의사소통이 재발할 수 있으므로, Pipe라인의 설계에 주의가 필요하다.

연구 결과

• GPT-5.2의 성능은 0.156에서 0.942로 향상했다.
• Gemini 3 Pro의 성능은 0.94 이상으로 유지되었다.
• Gemini 3 Pro의 낮은 사유력 구성에서는 GPT-5.2의 높은 사유력 구성보다 약 5% 낮은 비용으로 높은 성능을 보였다.
• Pipe라인의 오류가 발생할 경우, 모호한 의사소통이 재발할 수 있으므로, Pipe라인의 설계에 주의가 필요하다.