헤딩 특정 활성화 조종으로 도구 사용을 제어한다.

도구 사용 제어의 중요성

대규모 언어 모델과 관련된 도구를 활용한 확장된 모델은 파라미터 지식 이외의 기능을 확장시키지만, 불필요하게 도구를 호출하는 경향이 있다. 이는 모델의 성능과 효율성을 저하할 수 있으므로, 도구 사용을 제어하는 방법을 개발하는 것이 중요하다. 도구 사용 결정을 추출하고 조작할 수 있는 안정적인 내부 표현이 존재하는지 조사하는 것이 목표이다. 도구 사용 제어를 위해 특정 활성화 조종을 사용할 수 있다. 이는 모델의 파라미터 지식에 직접적인 인코딩이 없는 도구가 추론 시점에 전체적으로 존재하는 상황에 존재한다는 점을 고려할 때, 이는 문제가 될 수 있다. 연구 결과, 5개의 오픈 소스 모델과 3개의 분야에서 특정 위치로부터 추출한 동작 벡터가 도구 호출 동작에 대해 양방향 상이한 인과적 통제력을 행사한다고 나타났다.

기하학적 분석과 도구의 비파라미터성

이로써, 불필요한 도구 사용을 가장 효과적으로 억제하는 분야는 파라미터 추론만으로 충분한 분야라고 밝혔다. 그러나 기하학적 분석에 따르면, 이 인과적 효과는 선형 구조의 정리와 일치하지 않는다. 도구 호출 단계는 억제 벡터와 대조적으로 선형 인코딩에 의한 예상과 일치하지 않는 확산된 이중 모드의 정렬을 나타낸다. 또한, 서로 다른 도구 종류는 내부 서명이 크게 다르며, 교차 도구 특성의 격차가 낮다. 이러한 기하학적 속성이 도구의 비파라미터성에 대한 지시를 나타내며, 파라미터로 기반을 둔 개념에 대해 추출된 도구 사용의 동작 벡터와 구분하는 것으로 추정된다. 이 기하학적 불규칙성과 관찰된 인과적 효과 사이의 관계는 여전히 개방된 문제이다. 이를 해결하기 위해서는 추가적인 연구와 분석이 필요하다. 도구 사용 제어와 기하학적 분석에 대한 연구는 대규모 언어 모델과 관련된 도구를 활용한 확장된 모델의 성능과 효율성을 향상시키는 데 중요한 역할을 할 수 있다.