임의성이 있는 의료 언어 모델에 대한 결정론적인 수학 풀이 도구 개발을 위한 방향

대규모 언어 모델은 산술 연산에서 불신할만큼 불신할 정도로 불안정하다. 이는 임상 계산기에서 단 하나의 숫자 오류가 권장 사항을 바꾸는 문제를 일으킨다. 표준적인 해결책은 각 계산기를 한 번씩 검증된 함수로 하드 코딩하는 것이다. 우리는 다른 대안을 시험해보았다. 모델은 산술 연산을 하지 않고, 대신에 사례별로 Python 코드를 작성하고, 제한된 지역 실행자로 실행되는 결정론적 해결책으로 변환한다. 모델의 역할은 이 해결책을 어떻게 사용해야 하는지 결정하는 것이다. 우리는 이 Program-Solve 인터페이스를 MedCalc-Bench Verified (1,100 건, 55 개의 계산기)에서 직접 모델 산술과 수학적으로 검증된 22 개의 계산기 라이브러리에 대해 평가했다. 또한 Qwen2.5-7B와 Qwen2.5-32B-AWQ를 사용하여, 벤치마크의 공식들을 현재 임상 지침과 비교하여 감사하고, 16 개의 55 개의 공식들 중 버전, 사용 또는 계수와 관련된 문제가 있는 것들을 표시했다. 공식과 금색 변수를 제공하고, 두 경로 모두 전체 노트를 읽으면서, 해결책으로 전달하는 것은 7B (75.31% 대 72.02%, pair +3.29 pointswith a 95% calculator-cluster interval of [-3.49, 10.38])에서 불신할만큼 불신할 정도로 불안정하지만, 32B (90.53% 대 83.47%, +7.05 [0.47, 14.60], clear of zero)에서는 그렇지 않다. 수학적으로 검증된 라이브러리는 440 건의 지원 사례에서 정확하지만, 다른 경우에는 abstains (40.0% overall). 실행자 추가는 공통된 공식, 변수 및 노트 접근 여부하에 따라 일부 공개 중량 모델에 더 많은 도움을 주지만, 검증된 공식이나 신뢰할 수 있는 변수 추출도 필요하다.