규칙이 학습할 때: 법적 사례 검색을 위한 자율 진화 요소

법률 문서 검색은 법률 용어의 복잡성과 쿼리와 관련된 문서 간의 정확한 단어 대응이 필요한데다 어려움을 겪고 있습니다. although dense retrieval models는 눈에 띄는 진전을 이루었지만, 실증 연구 결과 BM25는 여전히 이 영역에서 강력한 기준선으로 기능하고 있습니다. 그러므로 BM25를 parameter training없이 향상시키는 rule-driven query rewriting의 self-evolving framework를 제안합니다. 이 framework는 LLM-based agent에 자동 평가 환경을 제공하여 iteratively rewriting 규칙을 생성하고, rule combination에 대한 validation 실험 계획 및 historical feedback를 기반으로 ineffective rule를 제거할 수 있도록 합니다. LeCaRD-v2라는 중국 법률 문서 검색 벤치마크에서 proposed framework를 평가하였으며, experimental 결과는 proposed framework가 non-evolutionary baseline을 능가하며, 특히 high-capacity core LLM를 사용할 때 human-designed rules와 greedy rule selection보다 뛰어납니다. 또한, self-evolution의 기반이 되는 메커니즘에 대한 자세한 분석을 수행하였으며, LLM의 이전 실험 결과를 활용하고 rule elimination에 대한 내재된 지식을 이용하는 capability가 rule set을 self-evolution을 통해 개선하는 데 중요한 역할을 하는 것을 발견했습니다.