ggml-org/llama.cpp

Eval bug: wrong default threads in llama-bench

Open

#17.611 geöffnet am 30. Nov. 2025

Auf GitHub ansehen
 (6 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)C++ (110.169 Stars) (18.202 Forks)batch import
good first issuelow severityperformance

Beschreibung

Name and Version

latest commit: https://github.com/ggml-org/llama.cpp/commit/fa0465954faef9d7170b967ad89f8bc5303a32f3

llama-bench using by default wrong threads.

Linux server with NUMA nodes

Operating systems

Linux

GGML backends

CPU

Hardware

Supermicro X10dri Dual CPU

Contributor Guide

Tech Stack
ccpp
Domain
backendperformancetooling
Issue Type
bug
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 days
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
active
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
C++ programmingfamiliarity with llama bench codeunderstanding of NUMA
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40
Research-Richtung
Investigate the default thread selection in llama bench, specifically in the context of NUMA systems. The issue suggests that on a Linux server with NUMA nodes, the default thread count is incorrect. Look at the relevant source file (likely llama bench.cpp) to understand how threads are determined and what logic should be used for NUMA. See comments in the issue for any additional context.