도구 확장된 LLM agent가 실제 세계 에너지 분석 작업에서 어떻게 수행하는가?

제조 및 특정 영역(금융, 프로그래밍, 법, 의약품 개발 등)에 대한 자율성을 보장하는 기준이 일반 용도 및 특정 영역에서 등장하고 있으나, 에너지 분야에서는 주로 정적 지식의 회수에만 한정되어 있는 것으로 나타났다. 에너지 분야는 실시간 데이터 수집, 특정 규제 및 시장 지식, 그리고 실제 환경 제약하에서 다단계 양적 추론이 필요하므로, 이러한 격차는 중요하다. 우리는 실제 에너지 시장 분석 작업에서 도구 증강 LLM agent(대규모 언어 모델(LLM))를 실험적으로 연구하였다. 평가 환경은 3개 범주(1) 시장 데이터 수집 및 분석, (2) 지식 수집 및 해석, (3) 고급 양적 모델링 및 의사결정 분석)의 243 개의 전문가 편집 문제를 포함한다. 작업은 가격 및 수요 분석, 수입 영향 모델링, 자산 수익 및 수익 추정, 보험 전략 분석, 최적화 모델링, 그리고 여러 난이도 수준을 포함하는 문제이다. agent(agent)는 주요 미국 ISO의 실시간 전기 시장 API, 규제 도크 검색, 유틸리티 요금 데이터베이스, 자산 최적화 모델, 그리고 에너지 시장 문서에 대한 수집-증강 생성을 포함하는 도메인 도구의 구성 가능한 패키지를 갖추고 있다. 우리는 agent(agent)의 응답을 다차원 평가 프로토콜을 사용하여 평가한다. 이 프로토콜은 접근 방법의 correctness, 답변의 accuracy, 속성의 alignment, 및 출처의 validity를 평가한다. 또한, 카테고리-어웨어 라우팅을 사용하여 평가 기준을 질문의 유형에 맞추어 평가한다. 우리는 폐쇄 소스 및 공개 소스의 LLM을 평가하여, 고위험 전문 영역에서 모델의 능력과 도메인 도구의 상호 작용을 비교 분석하였다. 주요 artifact는 재현성과 미래 연구를 지원하기 위해 공개되었다.