ggml-org/llama.cpp

Eval bug: wrong default threads in llama-bench

Offen

#17.611 geöffnet am 30.11.2025

Auf GitHub ansehenContributor Guide
 (11 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)C++ (21.825 Forks)batch import
good first issuelow severityperformance

Repository-Metriken

Stars
 (124.401 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

Name and Version

latest commit: https://github.com/ggml-org/llama.cpp/commit/fa0465954faef9d7170b967ad89f8bc5303a32f3

llama-bench using by default wrong threads.

Linux server with NUMA nodes

Operating systems

Linux

GGML backends

CPU

Hardware

Supermicro X10dri Dual CPU

Contributor Guide

Research-Richtung
Untersuche die Logik zur Auswahl der Standard Thread Anzahl in llama bench, mit Fokus darauf, wie die CPU Topologie erkannt und NUMA Systeme behandelt werden.
Tech Stack
cpp
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
C++threading concepts
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70