시계열 언어 모델에서 합성적 사고를 유도하는 시간 생각:

타임 시리즈 멀티 모달 대규모 언어 모델(TS-MLLMs)은 최근 대규모 언어 모델(LLMs)의 추론 능력을 활용하여 질문-답변 작업을 수행하기 시작했습니다. 그러나 이러한 모델들은 종종 동적 시간 패턴을 포착하지 못하고, 고위험 응용 프로그램인 의료와 같은 경우에는 암시적 추론만 제공하여 중요한 설명을 제공하지 못합니다. 반복 학습(RL)-기반 타임 시리즈 언어 모델은 이러한 문제를 해결하기 위해 노력하지만, 종종 좁은 데이터로 학습되어 분포 밖의 합성적 질문에 어려움을 겪습니다. 이러한 문제를 해결하기 위해 우리는 TimeThink이라는 합성 프레임워크를 제시합니다. 이 프레임워크는 타임 시리즈 기본 요소(예: 경향, 계절성)가 도메인 독립적이고 deterministically 생성할 수 있습니다. 이 아이디어에 따라 TimeThink은 합성 데이터 생성기를 설계하여 원자적 및 합성적 질문-답변 pair를 생성하고, 추론 트레이스를 포함한 객관적 참조 지식을 제공합니다. 이 프레임워크를 기반으로 TimeThink은 강화 학습과 검증할 수 있는 보상을 사용하는( RLVR) 훈련 전략을 사용하여 명시적 추론을 장려합니다. 템플릿에 의존하는 방법과 달리, 이 방법은 모델이 합성의 논리를 학습하는 대신에 단순히 트레이스를 모방하는 대신에 논리 구조를 학습할 수 있도록 합니다. 광범위한 실험 결과 TimeThink은 합성 데이터만으로 훈련되었지만, 합성 및 실제 세계 벤치마크에서 강력한 기반이나보다 우수한 성능을 보여줍니다.