ggml-org/llama.cpp

Eval bug: wrong default threads in llama-bench

Open

Aperta il 30 nov 2025

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)C++ (110.169 star) (18.202 fork)batch import
good first issuelow severityperformance

Descrizione

Name and Version

latest commit: https://github.com/ggml-org/llama.cpp/commit/fa0465954faef9d7170b967ad89f8bc5303a32f3

llama-bench using by default wrong threads.

Linux server with NUMA nodes

Operating systems

Linux

GGML backends

CPU

Hardware

Supermicro X10dri Dual CPU

Guida contributor

Tech stack
cpp
Dominio
backend
Tipo issue
bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
mostly clear
Prerequisiti
C++threading concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70
Direzione di ricerca
Investiga la logica di selezione del numero predefinito di thread in llama bench, concentrandoti su come rileva la topologia della CPU e gestisce i sistemi NUMA.