Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Add tests for expected number of evals submission and measured times

Aperta
  • Qualcosa non va?
#452 0 commenti 0 reazioni 1 assegnatario Vedi su GitHub

@priyakasimbeg ci sta già lavorando.

Dal 25/7/2023.

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

Good First Issue

Description

Add CI test that checks if reported times and number of evals are inline with expectations.

For each submission we report:

  • total wall clock time
  • submission time
  • eval time
  • logging time
  • number of evals

We should add the following tests on at least 1 workload (probably mnist).

  1. We should check that submission_time + eval_time + logging time ~ total _wallclock_time.
  2. We should check that the number of evals is roughly equal to total_submission_time // eval_period
Lingua principale
Python
Stelle
425
Fork
80
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di mlcommons/algorithmic-efficiency

Tutte le issue di mlcommons/algorithmic-efficiency

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.