지구 친화적인 지구 기반 LLM의 효율성: 소비자 하드웨어에 대한 초기 양적 GPU 전력 벤치마크

대규모 언어 모델(LLM)의 지역 배포는 개인 정보 보호의 우려와 기지 내 추론의 욕구로 인해 점점 더 심화되고 있다. 그러나 소비자 하드웨어에서 에너지 비용은 주로 정확도만 고려하는 대부분의 벤치마크로 인해 아직까지도 매우 불확실한 상태이다. 이 논문은 1B에서 7B 파라미터까지의 열 개의 오픈 소스 대규모 언어 모델이 하나의 소비자 GPU(RTX 4060Ti 16GB)에서 실행되는 하드웨어 수준의 에너지 벤치마크를 제공한다. Ollama 추론 엔진을 사용하여 nvidia-smi를 통해 2Hz 간격으로 GPU 전력 소비량을 샘플링하고 고정된 프롬프트 세트를 사용한다. 우리는 평균/최고 전력, 프롬프트 당 총 에너지(J/prompt), 출력 토큰 당 에너지(J/token), 그리고 처리량(tok/s)을 평가한다. 우리의 연구 결과는 모델의 파라미터 수 외에도 모델 아키텍처 및 정량화 전략이 에너지 효율성을 결정한다는 것을 제시한다. 구체적으로 gemma3:1b와 llama3.2:1b는 가장 낮은 에너지 비용(0.56 J/token과 0.65 J/token)을 가지고 있으며, 최고의 처리량(170 tok/s 이상)을 보여준다. 반면에 7B-Mistral 모델은 가장 효율적인 모델보다 토큰당 에너지를 4.4배 더 소비한다. 또한 qwen3.5:2b는 내부 논리화가 연장된 토큰 생성 모드가 있기 때문에 에너지 효율성 지표에서 구별해야 하는 이상적인 높은 프롬프트당 에너지를 나타낸다.