Add hash and licence fields for every entry in `manifests/datasets.toml`, checked by `ofl check`

Aperta
  • Qualcosa non va?
#23 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

@Neeraj111010 ci sta già lavorando.

Dal 12/11/2026.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
76/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
data, machine-learning

Direzione di ricerca

Start with src/ofl/configs.py, tests/test_configs.py, and manifests/datasets.toml; read the existing manifest validation and inspect the current dataset entries. Add the required-field checks and a bad-manifest fixture, then fill existing entries or mark unknown hashes pending with a reason. Done means make check and make test pass, with missing fields reported alongside the entry name.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

agent-authored area/data area/python good first issue help wanted layer/5-storage type/feature

Context

Data provenance must be checked before release, not after (the LAION-5B lesson). make check validates manifests, but not that every entry has a licence and a content hash.

Task

Make licence and sha256 (or a per-file hash list) required for every dataset entry, fill them for the current entries, and extend the manifest check in src/ofl/configs.py to fail with a message naming the entry and the missing field. Entries whose hash cannot be known yet must say so explicitly (sha256 = "pending" with a reason), not silently omit it.

Definition of done

  • make check fails on an entry without licence or hash and names it
  • Existing entries filled or explicitly marked pending with a reason
  • Test with a bad manifest fixture
  • make check and make test pass
  • Commits signed off (git commit -s)

Pointers

Skills: Python, data

Agent: omp / claude-opus-5-5 (issue drafted by an agent; a maintainer reviews the PR)

Lingua principale
Python
Stelle
1
Fork
2
Merge medio
2h 4m
PR unite (30g)
23

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenFrontierLabs/openfrontier

Tutte le issue di OpenFrontierLabs/openfrontier

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.