mlcommons/inference

Vedi su GitHub

Reference implementations of MLPerf® inference benchmarks

Stelle: 1.6k
Fork: 650
Issue aperte per principianti: 1
Issue indicizzate: 160
Merge medio: 1g 22h
PR unite (30g): 6

Lingua principale: Python
Licenza: Apache-2.0
Ultimo push su GitHub: 2/9/2026
Ultima indicizzazione: 19/9/2026
Guida per i contributori: Guida per i contributori
Codice di condotta: Nessun codice di condotta
Label per principianti: Nessuna label per principianti indicizzata

Adatte ai principianti Tutto

Aperta Tutte

160 issue aperte indicizzate

[Feature]: https://github.com/mlcommons/inference/blob/master/README.md needs MLPerf Inference 6.1 table Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

mlcommons/inference#2641 · Aperta il 22/7/2026
Where can I download llama3_1-8b-instruct-hf-torch-fp4.tar.gz for MLPerf v6.0 Llama3.1-8B? Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

mlcommons/inference#2596 · Aperta il 3/6/2026
Submission IDs (Public IDs) handling during the submission process Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

mlcommons/inference#2588 · 1 commento · Aperta il 19/5/2026
Power proposal 2 - Enabling software based power measurements Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

mlcommons/inference#2577 · 14 commenti · Aperta il 20/4/2026
Power measurement proposal #1 - Nameplate Power Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100

mlcommons/inference#2576 · 14 commenti · Aperta il 20/4/2026
Is that a bug in DLRM V2 model? Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2562 · 1 commento · Aperta il 16/3/2026
Access to Llama 3.1 8b Unavailable through Provided MLCommons Hyperlink Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 52/100

mlcommons/inference#2559 · 1 commento · Aperta il 10/3/2026
[Discussion] Adding energy consumption metrics to MLPerf Inference Benchmark Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 28/100

mlcommons/inference#2558 · 18 commenti · 1 reazione · Aperta il 9/3/2026
Codebase Refactor: Remove shell=True from subprocess calls Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

mlcommons/inference#2555 · Aperta il 26/2/2026
Update logging to use color logging and loguru Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2547 · Aperta il 23/2/2026
Where's Whisper's calibration dataset? Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

mlcommons/inference#2543 · 9 commenti · Aperta il 18/2/2026
Codebase Refactor: Adding pre-commit checks and enforcing them. Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2535 · Aperta il 11/2/2026
Codebase Refactor: Document submission checker Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

mlcommons/inference#2533 · Aperta il 11/2/2026
Codebase Refactor: Localize wildcard imports Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

mlcommons/inference#2520 · Aperta il 9/2/2026
Codebase Refactor: Remove os.system calls Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

mlcommons/inference#2516 · Aperta il 9/2/2026
Codebase Refactor: Remove use of eval Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2513 · 1 commento · Aperta il 9/2/2026
Codebase Refactor: Fix Unclosed File Handles Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100

mlcommons/inference#2505 · Aperta il 9/2/2026
Codebase refactor: Python code quality Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

mlcommons/inference#2504 · Aperta il 7/2/2026
Codebase refactor: Fix Shell Script Quality & Safety Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2503 · Aperta il 7/2/2026
Codebase refactor : Fix security and safety issues Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

mlcommons/inference#2502 · Aperta il 7/2/2026
GPT-OSS OOM errors despite having plenty memory Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2501 · Aperta il 6/2/2026
Support for RGAT with abandoned DGL dependency Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

mlcommons/inference#2498 · 3 commenti · Aperta il 5/2/2026
Multi-GPU run for Llama-3.1-8b fails Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2497 · 1 commento · Aperta il 5/2/2026
[TEST01] verify_performance.py - NameError: name 'line' is not defined. Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 55/100

mlcommons/inference#2494 · Aperta il 5/2/2026
[wan-2.2-t2v-a14b] TEST04 audit config does not run enough queries Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

mlcommons/inference#2493 · 1 commento · Aperta il 5/2/2026
[Performance] Slow loading of MM datas Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

mlcommons/inference#2483 · 1 commento · Aperta il 3/2/2026
Text to video benchmark failure Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

mlcommons/inference#2468 · 1 commento · Aperta il 27/1/2026
Submission checker logging Whisper performance with wrong metric Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 52/100

mlcommons/inference#2449 · 1 commento · Aperta il 15/1/2026
[Documentation] MLCommons URL access to llama3.1-8b is down Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 42/100

mlcommons/inference#2440 · 1 commento · 1 reazione · Aperta il 14/1/2026
Issue with benchmarking SSD-ResNet34 model. Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

mlcommons/inference#2416 · 1 commento · Aperta il 19/12/2025
Using enforce_eager=True in llama-3.1-8B Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100

mlcommons/inference#2408 · 2 commenti · Aperta il 8/12/2025
[Multimodal][vl2l] Offline Scenario hangs at the end of the benchmark Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2389 · 3 commenti · Aperta il 12/11/2025
Llama-3.1-8B inference time with different batch sizes Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

mlcommons/inference#2386 · 1 commento · Aperta il 5/11/2025
[Llama2-70] No matching distribution found for torch==2.2.0.dev20231006+cpu Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

mlcommons/inference#2380 · Aperta il 27/10/2025
Define standard for representing and filtering heterogeneous systems on the official result table Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

mlcommons/inference#2379 · Aperta il 24/10/2025
Increase expected QPS so the loadgen pre-generates a larger (coalesced) query Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

mlcommons/inference#2375 · Aperta il 22/10/2025
Documenting the behaviors of various config arguments in mlperf.conf and user.conf Aperta

mlcommons/inference#2356 · 1 commento · 1 assegnatario · Aperta il 7/10/2025
Bandwidth Requirement check in submission checker Aperta

postmortem 5.1

mlcommons/inference#2347 · 1 commento · 1 assegnatario · Aperta il 30/9/2025
Not able to cross 2000 Samples/second for RGAT inferencing on tiny dataset Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

mlcommons/inference#2342 · 1 commento · Aperta il 24/9/2025
[BUG] Llama 3.1 8b Server and SingleStream Scenario fail Aperta

After v6.0

mlcommons/inference#2341 · 3 commenti · 1 assegnatario · Aperta il 18/9/2025
Request to reduce size of LLM checkpoints hosted by MLCommons Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

mlcommons/inference#2323 · 1 commento · Aperta il 13/8/2025
Revisit Early stopping Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2322 · 2 commenti · Aperta il 13/8/2025
NCCL with llama2 Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

mlcommons/inference#2320 · Aperta il 7/8/2025
GPT-J_NVIDIA_TensorRT_Docker environment Failure Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

mlcommons/inference#2318 · 3 commenti · Aperta il 5/8/2025
1633 ERRORS encountered when running "sh ./reference_mlperf_accuracy.sh" Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100

mlcommons/inference#2310 · 5 commenti · Aperta il 31/7/2025
TEST01 is failing for pointpainting reference implementation - no accuracy samples in the log Aperta

mlcommons/inference#2308 · 7 commenti · 1 assegnatario · Aperta il 30/7/2025
Any specification for API for reference? Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

mlcommons/inference#2307 · Aperta il 30/7/2025
BERT-99 v5.0 startup failure, script error Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

mlcommons/inference#2291 · 3 commenti · Aperta il 28/7/2025
Confusing mlcommon conf_type for the configuration file Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100

mlcommons/inference#2287 · 1 commento · Aperta il 24/7/2025
Interactive: still occasionally a separate workload rather than a fully fledged scenario? Aperta

mlcommons/inference#2286 · 2 commenti · 1 assegnatario · Aperta il 24/7/2025

mlcommons/inference

Ricevi le nuove issue nella tua casella