ggml-org/llama.cpp

Eval bug: wrong default threads in llama-bench

Open

#17.611 aperta il 30 nov 2025

Vedi su GitHub
 (11 commenti) (0 reazioni) (0 assegnatari)C++ (18.202 fork)batch import
good first issuelow severityperformance

Metriche repository

Star
 (110.169 star)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Name and Version

latest commit: https://github.com/ggml-org/llama.cpp/commit/fa0465954faef9d7170b967ad89f8bc5303a32f3

llama-bench using by default wrong threads.

Linux server with NUMA nodes

Operating systems

Linux

GGML backends

CPU

Hardware

Supermicro X10dri Dual CPU

Guida contributor

Direzione di ricerca
Investiga la logica di selezione del numero predefinito di thread in llama bench, concentrandoti su come rileva la topologia della CPU e gestisce i sistemi NUMA.
Tech stack
cpp
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
C++threading concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70