불확실성에 기반한 LLM 지원: 부분 관찰 가능성下的ASK in the Dark

인공 지능이 부분적인 정보만을 이용하여 행동하는 경우, 미리 설정된 사고 방식을 가지고 있는 작은 언어 모델(Small Language Model, SLM)이 이러한 상황에 자연스럽게 도움을 줄 수 있다. 하지만 이러한 SLM의 도움을 이런 상황에 통합하는 것은 쉽지 않았다. 모든 테스트 환경에서, 기본적인 불확실성에 대한 접근 방법은 SLM이 독립적으로 행동하는 경우가 거의 없다는 뜻으로, 거의 어떤 경우에도 SLM이 독립적인 행동을 하지 않는다.

불확실성에 기반한 LLM 지원

이러한 문제를 해결하기 위해 ASK+를 제안하는 것으로, SLM에 움직임에 대한 정보(context)를 제공하여, 구조화된 사고 과정(chain-of-thought reasoning)을 제공하여, SLM을 단순한 중복 검사(redundancy check)에서 더 정보가 있는 상담자로 바꿔, 때때로 정책(policy)을 수정하는 데 도움을 줄 수 있다. 또한, 선택적인 질의(querying)에서 사용하는 예측 불확실성(signal)가 행동 불확실성(action uncertainty)보다는 상태 불확실성(state uncertainty)을 측정하는 것이며, POMDP(부분 관찰 가능 다이내믹 시스템)에서도 정보가 될 수 있으므로, 불확실성에 대한 접근 방법(gated assistance)이 완전히 관찰 가능한 상황에서만 사용되는 것이 아니라 사용할 수 있다. 정보가 있는 지시어(prompt)가 큰 효과를 낸다는 것은, 다양한 환경에서 성공률과 정확도가 상승했으며, 모든 환경에서 모델의 크기(model scale)가 아닌, 지시어(prompt)와 선택적인 게이트(selective gating)의 영향이 더 크다는 것을 의미한다. 이는 대규모 언어 모델(LLM)과 같은 인공 지능 기술의 발전에 중요한 의미를 가진다. 이러한 연구는 인공 지능이 부분적인 정보만을 이용하여 행동하는 경우, 미리 설정된 사고 방식을 가지고 있는 작은 언어 모델(SLM)이 이러한 상황에 자연스럽게 도움을 줄 수 있는 방법을 제공한다.