Question: How much large-scale scaling behavior can be predicted before benchmarking?
Maintainer antworten meist innerhalb von 6 Tagen
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 20/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Aktiv
- Bereich
- ai-infra-agents, machine-learning, performance
Rechercherichtung
Keine Datei, kein Test und kein Code-Einstiegspunkt sind angegeben. Beginne mit der Durchsicht des Performance- und Benchmarking-Materials des Repositorys und ordne dann das vorgeschlagene Effizienzband, den Skalierungsknick, den Engpass und die Validierungspunkte einem vorhandenen Workflow zu. Für den Abschluss wäre eine Entscheidung eines Maintainers erforderlich, ob dies als implementiertes Feature oder als analytische Forschungsrichtung behandelt werden soll.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Question: How much scaling behavior can be predicted before running at the target GPU scale?
I'm interested in a broader performance-engineering question related to large-scale inference/training infrastructure.
Suppose we already know the relevant workload characteristics: model architecture, parallelism, batch size, sequence characteristics, hardware configuration and network topology.
For a deployment that may scale from, say, 512 → 1,024 → 2,048 → 4,096 GPUs:
How much of the scaling curve should we realistically be able to predict before actually allocating and running at the target scale?
I'm not asking about exact throughput.
The more interesting question is whether we can predict:
the approximate scaling-efficiency band;
where the scaling curve is likely to develop a knee;
which bottleneck is likely to dominate;
and, consequently, which GPU counts are actually worth benchmarking.
The practical workflow today often seems to be:
run → measure → calibrate → extrapolate → run again.
That works, but creates an interesting asymmetry: the scale we want to evaluate may also be the scale at which assumptions calibrated at smaller scales stop holding.
I'm exploring a pre-run analysis approach where the output is deliberately not an exact prediction. Instead, it would provide:
expected efficiency band + likely scaling knee + dominant bottleneck + minimum useful validation points
The goal is not to replace benchmarking.
The goal is to make the benchmarking itself more intelligent.
From the perspective of the TensorRT-LLM/NVIDIA performance architecture:
How far do you think this can be pushed analytically before empirical calibration becomes fundamentally unavoidable?
I'm particularly interested in where the boundary lies between effects that can be modeled from workload/system parameters and effects that only become visible once the workload is actually running at scale.
Even a short maintainer perspective would be very useful.
- Vorherrschende Sprache
- C++
- Sterne
- 13.5k
- Forks
- 2.4k
- Ø Merge
- 6 T. 21 Std.
- Gemergte PRs (30 T.)
- 3
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus NVIDIA/TensorRT
-
Module:Polygraphy
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
Maintainer antworten meist innerhalb von 6 Tagen
-
Polygraphy NumPy Top-K sorts unsigned and minimum signed integers incorrectlyEvtl. vergeben @0z5a hat das vor 16 Tagen übernommen. OffenModule:Polygraphy
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 6 Tagen
-
Polygraphy INT32 comparison can overflow and falsely pass at zero toleranceEvtl. vergeben @0z5a hat das vor 16 Tagen übernommen. OffenModule:Polygraphy
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 6 Tagen
-
onnx-graphsurgeon: Graph.toposort() hits RecursionError when a graph has a local function and an If/Loop nodeEvtl. vergeben @gabortar hat das vor 39 Tagen übernommen. OffenModule:GraphSurgeon
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
Maintainer antworten meist innerhalb von 6 Tagen
-
Polygraphy parse_meta accepts a shape with a missing bracketEvtl. vergeben @SashaMIT hat das vor 51 Tagen übernommen. OffenModule:Polygraphy
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
Maintainer antworten meist innerhalb von 6 Tagen
Alle Issues in NVIDIA/TensorRT
Ähnliche Issues
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 91/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 69/100
maplibre/maplibre-native#5072 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 79/100
tenstorrent/tt-umd#4017 ·
Maintainer antworten meist innerhalb von 3 Tagen
-
difficulty:easy func:gui prio:low type:bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
NatronGitHub/Natron#1538 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
hyprwm/hyprsunset#103 · 1 Kommentar ·