mlcommons/endpoints-submission-cli

Le issue su cui forse qualcuno sta già lavorando sono in fondo alla lista. Ordina tutto per data

• Null inside a named accuracy metric is dropped silently

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  mlcommons/endpoints-submission-cli#178 · Aperta il 9/11/2026

  I maintainer di solito rispondono entro 1 giorno

• NaN accuracy score passes the gate

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100

  mlcommons/endpoints-submission-cli#177 · Aperta il 9/11/2026

  I maintainer di solito rispondono entro 1 giorno

• Single-turn accuracy average includes the inline performance entry

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100

  mlcommons/endpoints-submission-cli#176 · Aperta il 9/11/2026

  I maintainer di solito rispondono entro 1 giorno

• Accuracy gate ignores complete: false

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  mlcommons/endpoints-submission-cli#174 · Aperta il 9/11/2026

  I maintainer di solito rispondono entro 1 giorno

• Run requirements: duration keyed by region (rules key on concurrency), agentic 2400 s not encoded, values still "subject to ratification"

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 78/100

  mlcommons/endpoints-submission-cli#165 · 1 commento · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Dedicated Offline run: which `region` value? `submitters_choice` currently passes the checker

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 Mezza giornata Idoneità per principianti 35/100

  mlcommons/endpoints-submission-cli#161 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Load pattern: §6.1 defines no wire tokens; the checker requires `concurrency` / `agentic_inference`

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 1-3 ore Idoneità per principianti 92/100

  mlcommons/endpoints-submission-cli#160 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Availability field spelling: the checker accepts three spellings; the rules use one (system_availability_status)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100

  mlcommons/endpoints-submission-cli#159 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• system_info: the checker documents system_desc.json as submitter-authored; Submission Rules §5.2 tells submitters to configure a `system_info` section

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  mlcommons/endpoints-submission-cli#158 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Warmup salt: the checker warns when salt is enabled; §6.3.1 requires salting exactly when performance data is used for warmup

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100

  mlcommons/endpoints-submission-cli#157 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Checker docs/messages cite rule sections that do not exist (§10, §11, §12, §14, §15)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100

  mlcommons/endpoints-submission-cli#156 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Drafter approval lead time: §2.9.4 anchors on the review eligibility date, §9.1 on target_cohort; the checker uses target_cohort

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

  mlcommons/endpoints-submission-cli#155 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Accuracy gate enforced from MLPerf Inference constants while §2.9.8 is WIP and no benchmark definition publishes Endpoints targets

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

  mlcommons/endpoints-submission-cli#154 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• tps_utilization: §8.2's "max of all reported_system_tps for all runs" is unscoped; the checker normalizes per curve

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 Mezza giornata Idoneità per principianti 50/100

  mlcommons/endpoints-submission-cli#153 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Power tolerance/precision: "computed disagrees" has no threshold in the rules; the checker defines its own tolerances

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100

  mlcommons/endpoints-submission-cli#152 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• D.1 scale-up fallback cannot run: the descriptor does not declare the link protocol

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 54/100

  mlcommons/endpoints-submission-cli#151 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• E.7 power schema: two structural choices are enforced as rejections while E.7 marks them "recommendations, not settled policy"

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100

  mlcommons/endpoints-submission-cli#150 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Cooling vocabulary: E.2 requires liquid/air consistent with §8.2's free-text `cooling`; "passive cooling" has no overhead fraction

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

  mlcommons/endpoints-submission-cli#149 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Power descriptor scope: §4.5.2 says every submission MUST include system_power.json; the checker makes it optional for RDI/Serviced

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 55/100

  mlcommons/endpoints-submission-cli#148 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• warmup concurrency should be zero if not used

  Forse di nuovo libera @arav-agarwal2 l’ha presa 45 giorni fa e non c’è nessuna pull request aperta. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100

  mlcommons/endpoints-submission-cli#92 · 2 commenti · 1 assegnatario · Aperta il 23/9/2026

  I maintainer di solito rispondono entro 1 giorno

• steam all chunks - should be false

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100

  mlcommons/endpoints-submission-cli#91 · 2 commenti · Aperta il 23/9/2026

  I maintainer di solito rispondono entro 1 giorno

• Add agentic models for endpoints 1.0 launch

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100

  mlcommons/endpoints-submission-cli#90 · Aperta il 23/9/2026

  I maintainer di solito rispondono entro 1 giorno

• Endpoints run output vs. the submission CLI

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  mlcommons/endpoints-submission-cli#77 · Aperta il 31/8/2026

  I maintainer di solito rispondono entro 1 giorno

• Separate 'run date' and 'run upload date'

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

  mlcommons/endpoints-submission-cli#76 · Aperta il 26/8/2026

  I maintainer di solito rispondono entro 1 giorno

• Add interactivity to the CLI calculations, so reviewers can review the data.

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  mlcommons/endpoints-submission-cli#62 · Aperta il 9/7/2026

  I maintainer di solito rispondono entro 1 giorno

• Require one accuracy result per run for v1.0 submissions.

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

  mlcommons/endpoints-submission-cli#61 · Aperta il 7/7/2026

  I maintainer di solito rispondono entro 1 giorno

• Null SWE-bench result gives only a warning

  Forse già presa @anandhu-eng l’ha presa oggi. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

  mlcommons/endpoints-submission-cli#175 · Aperta il 9/11/2026

  I maintainer di solito rispondono entro 1 giorno

• No check that samples issued is a whole multiple of the dataset size (§6.4)

  Forse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 58/100

  mlcommons/endpoints-submission-cli#167 · Aperta il 4/11/2026

  I maintainer di solito rispondono entro 1 giorno

• Seed adoption window: docstring quotes §4.6 wording that is not in the current rules

  Forse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100

  mlcommons/endpoints-submission-cli#164 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• seed-config-legacy: no-`seed_set` points pass with a warning when seeds are 42, while §4.6 requires a recorded bound set

  Forse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  mlcommons/endpoints-submission-cli#163 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• steady_state block: the checker reads it from point.yaml, but the client writes it elsewhere

  Forse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

  mlcommons/endpoints-submission-cli#162 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• feat: `list` should print out system/model + filter by staus

  Forse già presa @TeoSlayer l’ha presa 12 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 Mezza giornata Idoneità per principianti 60/100

  mlcommons/endpoints-submission-cli#135 · Aperta il 15/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Warn instead of failing when a shared docs/src file conflicts with a run archive

  Forse già presa @TeoSlayer l’ha presa 12 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  enhancement

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 75/100

  mlcommons/endpoints-submission-cli#97 · Aperta il 30/9/2026

  I maintainer di solito rispondono entro 1 giorno