대화식 시각적 장소 인식 방향으로의 대화

인간이 공간 정보를 주고받는 방식으로 영감을 받아 공간 정보를 주고받는 언어 기반의 지리적 위치 식별이 직관적이고 실용적인 가치로 인해 큰 진전을 이루고 있습니다. 그러나 이러한 진전에도 불구하고 대부분의 방법은 정적이고 한 번의 검색만을 지원하는 패러다임에 기반을 두고 있으며, 이는 실세계 자연어 설명의 불명확성과 불완전성을 처리하지 못합니다. 우리는 새로운 패러다임으로 검색을 재단하고 대화 기반의 장소 식별(DlgPR)을 제안하며, 이는 위치 식별을 대화 기반의 논리적 추론 과정으로 casts합니다. 이 새로운 작업을 지원하기 위해, 우리는 대화 기반의 장소 식별을 위한 첫 번째 대규모 벤치마크인 DlgQuest-Cities를 제안하고, 다중 모드의 다중 수준 검색기와 지능형 질문기인 DQ-pilot를 결합한 통합적인 추론 프레임워크를 제시합니다. DQ-pilot는 학습 커리큘럼에 따라 DQ-cities-20k의 커스텀한 서브셋에서 감독된 미세 조정 학습 후 GRPO를 통해 더 어려운 DQ-cities-10k 분할에서 강화 학습을 거칩니다. 두 가지 작업에 맞춰진 지표가 학습을 안내합니다: 학습 커리큘럼을 위한 판별적 난이도 지수(Discriminative Difficulty Index, DDI)와 위치 검색 성능 향상에 직접적인 측정치를 제공하는 위치 검색 가이너리(Positional Retrieval Gain, PRG) 보상입니다. 실험 결과 이 추론 기반의 접근 방식은 baseline보다 크게 뛰어난 성능을 나타냅니다. 코드와 모델은 https://github.com/Graysonggg/DlgPR에서 제공됩니다.