Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Support NWB files stored as Zarr (`.nwb.zarr`)

Aperta
  • Qualcosa non va?
#1,920 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
48/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
cli

Direzione di ricerca

Inizia tracciando la gestione di NWB attorno a get_nwb_version, get_object_id, get_neurodata_types, _scan_neurodata_types, nwb_has_external_links, _get_pynwb_metadata e validate. Esamina il vincolo della dipendenza zarr e la discussione sulla versione di hdmf-zarr prima di decidere come dovrebbero funzionare i rami specifici del backend. Fatto significa che i file .nwb.zarr ricevono metadati NWB, validazione, controlli dei link esterni e la gestione di organize, invece di essere trattati come asset Zarr generici.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Same context as the other two issues, 1 and 2 but now I have realized (I should have thought about this before) that dandi-cli has no support for NWB stored as Zarr: a .nwb.zarr. Currently, this is handled as a generic Zarr asset, so none of the NWB machinery ever sees it.

In my specific case described on the issues above two things happend:

  • The validation does not stop the upload in its tracks if the referenced videos are missing.
  • dandi organize skips the .nwb.zarr file silently, no entry, no warning, no error.

I am not sure adding support is mechanically hard but there is a dependency problem. Reading of the file is supported by the backend independent pynwb.read_nwb, which is able to handle the two backends as long as hdmf-zarr is installed. That covers _get_pynwb_metadata, and validate already goes through pynwb.validate(paths=...) on its main path. Then there are the following sites that read quickly and where doing the full nwb read is probably too heavy, they will require a backend specific branch:

  • get_nwb_version, which opens the file only to read one root attribute.
  • get_object_id, same thing for object_id.
  • get_neurodata_types and its _scan_neurodata_types helper, which walk the raw tree looking for neurodata_type.
  • nwb_has_external_links, the gate that refuses files whose content lives in other files. hdmf-zarr has links with a source too, so this ports the same way.

I can take the above if that makes sense for you but the thorny issue is dependencies. nwb.zarr will require Python 3.12 and zarr 3.2 or above, see the version discussion in hdmf-zarr. Currently you have zarr pinned to zarr>=2.18.0,<=3.1.5. Is there a reason for this? How could we move forward?

Lingua principale
Python
Stelle
29
Fork
37
Merge medio
14h 58m
PR unite (30g)
15

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di dandi/dandi-cli

Tutte le issue di dandi/dandi-cli

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.