카라트: 재료 LLM은 추론하거나 암송합니까?

물리학적 물질의 대규모 언어 모델(LLM)이 결정 구조에 대한 질문에 대해 대답할 때, 그것은 구조에서 논리를 풀어내거나 이미 입력으로 들어온 답을 그대로 복사하는지 알기 어렵다. 정확도는 구조 설명이 평가하는 항목 자체를 출력하는 경우가 많기 때문이다. CARAT는 여덟 개의 일치된 시각에서 질문과 정답을 고정하고, GraphSpace에서 구조적 관계를 따로 이름을 붙이고, 일치된 튜닝, 답을 가리는 것, 증거를 삽입하는 것, paired inference, 그리고 증거를 제시하지 않는 규칙을 추가한다. 첫째, 가장 어려운 가족 집단에서, Grounded view는 공식 입력보다 17.3 점을 가치 있다. 둘째, 우리는 스스로의 검증을 진행한다. GraphSpace는 평범한 주기적 그래프보다 19.3 점을 높게 나온다. 그러나 이 차이는 동시에 두 가지 효과를 나타낸다: 평범한 렌더링이 질문에 필요한 모든 항목을 포함하는 경우, 1.96 점이 나온다. 반면에, 그것이 모든 항목을 생략하는 경우, 46.7 점이 나온다. 이 헤드라인은 주로 baseline이 부족한 부분을 측정하는 것인데, 증거가 어떻게 제시되는지에 대한 측정은 아니다. 셋째, 우리는 스스로의 benchmark를 공격한다. 링크를 생략하고 목록을 직접 읽어내는 규칙은 7개의 강화된 가족 중 4개에 대해 동일한 답을 내놓는데, 우리는 그것을 다시 구축하여 11개의 단축 경로를 생성하였다. 그러나, 동결된 모델은 여전히 그 링크를 인용하지만, 그것을 재지정하면 동일한 답을 내놓는 경우가 95.6%로 나온다: 그것은 관계를 반복하는 것인데, 그것을 사용하지 않는다. 일치된 감독 후에, 그것은 99.8%까지 올라간다. 그리고 링크를 삭제하면, 그것은 23.4%로 떨어지는데, 이는 가장 좋은 단축 경로가 달성한 27.0%보다 낮다. 두 단계 모두 학습할 수 있다.