Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Proposal: optional audit manifest for reproducible MLCube runs

Aperta
  • Qualcosa non va?
#367 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
documentation

Direzione di ricerca

Inizia esaminando i docs/examples esistenti e la struttura di docs/getting-started, quindi verifica come MLCube documenta attualmente le esecuzioni, la configurazione e la riproducibilità. Conferma con i maintainer l’ambito del manifest opzionale; il lavoro è completo quando sono documentati uno schema concordato e un esempio minimo, senza modificare il comportamento predefinito del runner né aggiungere dipendenze.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Proposal

Would MLCube be open to an optional run audit manifest for MLCube executions?

MLCube already focuses on portability and reproducibility. A small sidecar manifest could make benchmark runs easier to review, compare, cite, and publish safely without changing the core MLCube task interface.

Suggested manifest shape

{
  "schema_version": "mlcube.run_audit.v1",
  "mlcube_task": "run",
  "runner": "docker",
  "image": "...",
  "mlcube_config_hash": "...",
  "benchmark": "...",
  "dataset_refs": [
    {
      "source_id": "...",
      "kind": "dataset",
      "provenance": "...",
      "redaction_status": "safe_for_public_log"
    }
  ],
  "result_paths": ["..."],
  "provenance": {
    "repo": "...",
    "commit": "...",
    "created_at": "..."
  },
  "claim_status": "diagnostic",
  "redaction_status": "safe_for_public_log"
}

Why this may help

  • makes it clearer which MLCube/config/image produced a benchmark result
  • preserves provenance such as runner, image, config hash, repo commit, dataset refs, and result paths
  • separates diagnostic/internal runs from results intended for public reports or model cards
  • gives downstream benchmark users a standard place for audit-safe metadata
  • avoids storing raw secrets, private paths, tokens, or full sensitive arguments in public logs

Scope I would keep small

If maintainers think this is useful, I can prepare a follow-up PR that:

  • documents an optional manifest schema
  • adds a minimal example manifest under docs/examples or docs/getting-started
  • keeps the manifest opt-in and backward compatible
  • does not change existing runner behavior by default
  • does not add external service dependencies

This is motivated by work in the AANA project around audit-safe AI evaluation artifacts, but the contribution would be generic to MLCube and would not require AANA as a dependency.

Lingua principale
Python
Stelle
160
Fork
31
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di mlcommons/mlcube

Tutte le issue di mlcommons/mlcube

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.