Propietario

mlcommons

77 repositorios indexados · Ver en GitHub

training
Reference implementations of MLPerf® training benchmarks

Python · 1771 estrellas
inference
Reference implementations of MLPerf® inference benchmarks

Python · 1629 estrellas
croissant
Croissant is a high-level format for machine learning datasets that brings together four rich layers.

Jupyter Notebook · 901 estrellas
ck
Collective Knowledge (CK), Collective Mind (CM/CMX) and MLPerf automations: community-driven projects to learn how to run AI, ML, and oth...

Python · 651 estrellas
tiny
MLPerf® Tiny is an ML benchmark suite for extremely low-power systems such as microcontrollers

C · 479 estrellas
algorithmic-efficiency
MLCommons Algorithmic Efficiency is a benchmark and competition measuring neural network training speedups due to algorithmic improvement...

Python · 425 estrellas
storage
MLPerf® Storage Benchmark Suite

Python · 203 estrellas
chakra
Repository for MLCommons Chakra schema and tools

Python · 196 estrellas
GaNDLF
A generalizable application framework for segmentation, regression, and classification using PyTorch

Python · 191 estrellas
medperf
An open benchmarking platform for medical artificial intelligence using Federated Evaluation.

Python · 172 estrellas
mlcube
MLCube® is a project that reduces friction for machine learning by ensuring that models are easily portable and reproducible.

Python · 160 estrellas
modelbench
Run safety benchmarks against AI models and view detailed reports showing how well they performed.

Python · 134 estrellas
peoples-speech
The People’s Speech Dataset

Jupyter Notebook · 115 estrellas
training_policies
Issues related to MLPerf™ training policies, including rules and suggested changes

Python · 95 estrellas
mlperf_client
MLPerf Client is a benchmark for Windows, Linux and macOS, focusing on client form factors in ML inference scenarios.

C++ · 91 estrellas
ailuminate
The AILuminate v1.1 benchmark suite is an AI risk assessment benchmark developed with broad involvement from leading AI companies, academ...

83 estrellas
mobile_app_open
Mobile App Open

C++ · 71 estrellas
inference_policies
Issues related to MLPerf® Inference policies, including rules and suggested changes

63 estrellas
training_results_v0.7
This repository contains the results and code for the MLPerf™ Training v0.7 benchmark.

Python · 57 estrellas
inference_results_v0.5
This repository contains the results and code for the MLPerf™ Inference v0.5 benchmark.

C++ · 55 estrellas
57 repositorios más están en Ver en GitHub

Para principiantes Todo

Abierto Todos

[Feature]: plug in steady state reporting Abierto

status: needs-triage type: feature

mlcommons/endpoints#510 · 1 asignado · Abierto el 18/9/2026
Missing README.md Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 48/100

mlcommons/inference_results_v6.1#2 · Abierto el 17/9/2026
Why can't we run any NVIDIA NIM suts Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

mlcommons/modelbench#1660 · Abierto el 14/9/2026
Fix mistral SUT model id formatting Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

mlcommons/modelbench#1659 · 1 comentario · Abierto el 14/9/2026
Misc google SUT failures Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

mlcommons/modelbench#1658 · Abierto el 14/9/2026
Some Google SUTs don't return real content Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

mlcommons/modelbench#1657 · 2 comentarios · Abierto el 14/9/2026
Update William's tool to only check models we care about Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

mlcommons/modelbench#1656 · Abierto el 14/9/2026
Decide if we should support Google's Interactions API Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

mlcommons/modelbench#1655 · Abierto el 14/9/2026
Fix AWS SUTs Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 48/100

mlcommons/modelbench#1654 · Abierto el 14/9/2026
Anthropic SUT sometimes doesn't return a TextBlock Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 64/100

mlcommons/modelbench#1653 · 1 comentario · Abierto el 14/9/2026
Proposal: Add BFSI hazard domain — FinProof Bench (Banking/Financial Services/Insurance) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

mlcommons/ailuminate#38 · Abierto el 13/9/2026
Create openrouter adapter Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

mlcommons/modelbench#1648 · 1 comentario · Abierto el 11/9/2026
Add default model lists to dynamic SUT providers that don't auto-discover Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 58/100

mlcommons/modelbench#1646 · Abierto el 9/9/2026
Investigate dynamic SUT run failures Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

mlcommons/modelbench#1645 · Abierto el 9/9/2026
Investigate dynamic SUT listing failures Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

mlcommons/modelbench#1644 · 1 comentario · Abierto el 9/9/2026
[Bug]: Warning/Error "parse_sse_chunk - WARNING - skipping malformed SSE batch (ValidationError)" during running performance(online, offline), sglang 0.5.15.post1, 0.5.18 Abierto

status: needs-triage type: bug

Dificultad 3/5 1-2 días Aptitud para principiantes 78/100

mlcommons/endpoints#497 · 1 reacción · Abierto el 8/9/2026
Bring the iOS app update-to-date Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

mlcommons/mobile_app_open#1177 · Abierto el 8/9/2026
Operation output cache retains a consumed generator: a second `records()` of a joined RecordSet silently returns 0 rows Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 78/100

mlcommons/croissant#1049 · Abierto el 7/9/2026
LLM Post training - Question regarding seq-mask-tis and global_valid_toks denominator scaling. Abierto

mlcommons/training#905 · 3 comentarios · 1 asignado · Abierto el 4/9/2026
consistency checker handles new scoring Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 20/100

mlcommons/modelbench#1641 · Abierto el 3/9/2026
Candela server and client support safety benchmark versions Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

mlcommons/modelbench#1640 · Abierto el 3/9/2026
Confirm that all results from production run are in metadata Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

mlcommons/modelbench#1638 · Abierto el 2/9/2026
Integrity check modelplane vs production for a couple of riki's SUTs Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

mlcommons/modelbench#1637 · Abierto el 2/9/2026
Consistency checker handles safety v1.2 Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

mlcommons/modelbench#1633 · Abierto el 1/9/2026
Hazard categories are scored on text responses. Physical-AI systems fail in the action space. Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

mlcommons/ailuminate#37 · Abierto el 1/9/2026
[Feature]: Optional informative-only power/energy telemetry tier for results that cannot use PTDaemon Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

mlcommons/mlperf_client#19 · 2 comentarios · Abierto el 1/9/2026
Carry over is_valid annotation from verdict Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

mlcommons/modelbench#1632 · Abierto el 31/8/2026
Endpoints run output vs. the submission CLI Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

mlcommons/endpoints-submission-cli#77 · Abierto el 31/8/2026
Consistency checker crashes with ZeroDivisionError on empty denominators Abierto

Dificultad 2/5 Medio día Aptitud para principiantes 84/100

mlcommons/modelbench#1629 · Abierto el 29/8/2026
Integrate Riki's test scorer Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

mlcommons/modelbench#1628 · Abierto el 27/8/2026
LLM 4B model selection for v7.0 Mobile MLPerf Abierto

mlcommons/mobile_open#43 · 2 comentarios · 3 asignados · Abierto el 26/8/2026
Run Riki's 11 SUTs Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

mlcommons/modelbench#1625 · 2 comentarios · Abierto el 26/8/2026
Separate 'run date' and 'run upload date' Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

mlcommons/endpoints-submission-cli#76 · Abierto el 26/8/2026
Add an overall deadline for the complete compliance audit sequence Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

mlcommons/endpoints#466 · Abierto el 25/8/2026
Parameterize run-timeout coverage across benchmark lifecycle stages Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 58/100

mlcommons/endpoints#465 · Abierto el 25/8/2026
Add a deadline for accuracy scoring and finalization Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

mlcommons/endpoints#464 · Abierto el 25/8/2026
DAG embedder uses cloud run host Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

mlcommons/modelbench#1622 · Abierto el 24/8/2026
[Feature]: populate `session_started_ns` correctly Abierto

status: needs-triage type: feature

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

mlcommons/endpoints#463 · 1 comentario · Abierto el 24/8/2026
Safety 1.2 DAG in Cheval Abierto

mlcommons/modelbench#1621 · 3 comentarios · 1 asignado · Abierto el 24/8/2026
Make safety 1.2 DAG based on security 1.1 DAG Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

mlcommons/modelbench#1620 · Abierto el 24/8/2026
Design benchmark UIDs Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

mlcommons/modelbench#1618 · Abierto el 21/8/2026
Test new safety 1.2 DAG with real test set Abierto

mlcommons/modelbench#1617 · 1 asignado · Abierto el 21/8/2026
Is a physical-action hazard family in scope for a future AILuminate taxonomy? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

mlcommons/modelbench#1616 · Abierto el 21/8/2026
Consolidate run-outcome state flags into one abort/outcome model Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 42/100

mlcommons/endpoints#459 · Abierto el 20/8/2026
`conformsTo` expands to a language-tagged literal rather than an IRI, which defeats RDF-level profile discovery Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

mlcommons/croissant#1047 · 1 comentario · 1 reacción · Abierto el 20/8/2026
schema.py: dedupe cyclopts help= vs Field(description=) across config fields Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

mlcommons/endpoints#451 · Abierto el 18/8/2026
Promote warmup to a first-class phase type with per-phase config Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

mlcommons/endpoints#449 · 1 comentario · Abierto el 14/8/2026
Optimize structured chat-template tokenization drain at scale Abierto

mlcommons/endpoints#444 · 2 comentarios · 1 asignado · Abierto el 13/8/2026
distorted LLM Output in App logs for input prompt for the MMLU benchmark Abierto

mlcommons/mobile_app_open#1169 · 1 comentario · 1 asignado · Abierto el 12/8/2026
Design deployment of sentence embedder. Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

mlcommons/modelbench#1610 · Abierto el 12/8/2026

Mostrando los 100 más recientes

Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.

Abrir el filtro avanzado

mlcommons

Mostrando los 100 más recientes

Recibe los nuevos issues en tu correo