작은 언어 모델에서 그래프 기반 도구를 이용한 분자 물성 예측 향상

SMILES 문자열에서 제로샷 분자 속성 예측을 위한 작은 언어 모델(SLMs)은 약속을 보여주었지만 구조적 눈이 없는 구조를 가지고 있다. 이는 시퀀스 표현이 중요한 그래프-토폴로지적 단서를 명시하지 못하기 때문이다. 우리는 모듈러 콘텍스트-증강된 프롬팅 프레임워크를 제안한다. 이 프레임워크는 추론 시점에 도구 사용을 가능하게 하며, 훈련된 GNN 전문가 모델은 예측 힌트와 자신감을 제공하고 GNN은 인스턴스-특이적인 설명 subgraph를 추출한다(e.g., subgraph SMILES와 설명하는 문단). 우리는 MUTAG와 Tox21 데이터셋에서 세 가지 일반적으로 사용되는 SLMs를 평가한다. 또한 다섯 가지 프롬팅 구성에서 SMILES-only에서 모든 사용 가능한 도구를 사용하는 것을 포함하여. 두 데이터셋에서 그래프-발생된 콘텍스트를 프롬팅에 추가하면 크게 정확도 향상을 얻을 수 있으며, MUTAG에서는 25% 이상의 상대적 향상, Tox21에서는 74%까지 나타낼 수 있다. 우리는 추출된 모티브의 기능적 관련성을 필요성 기반 에지 드롭 간섭을 통해 further 확인한다. 추출된 모티브가 기능적 관련성을 가지는지 확인하는 것은 중요하다. 추가로, 텍스트 조건화 된 추론이 분자 구조에 대한 한계를 드러내며, 전문 GNN 모델과 비교하여 persistant gap이 남아있다.