Feature Request/Idea: Meta-MetaData File

Aperta
#1,588 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 3 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
20/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python
Ambito
databases

Direzione di ricerca

Inizia esaminando come sono rappresentati i file UVData e i relativi metadati, quindi analizza la gestione esistente di UVH5/HDF5 nel progetto. Definisci il formato proposto dei metadati dei metadati, le informazioni per la selezione dei file, i dati per la pianificazione della concatenazione e i controlli di integrità prima dell’implementazione; il lavoro è considerato completato quando il formato e il relativo ambito sono concordati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement major needs research

Every UVData file contains metadata, but often in real applications you have MANY such files. For example HERA has many files per night, each with two integrations (and otherwise, all the same metadata). OTOH, our large-scale simulations tend to output many files with one frequency per file.

Sometimes, finding the file you really need is quite tricky (sometimes not, of course). For instance, when LST-binning, you need to know the LSTs of within the file, but this can be difficult to put into the filename, for example. But reading every file within a folder to find the right file can take a LONG time, because just creating file handles for so many files takes a long time, not to mention actually reading any of the data.

I propose that we create a meta-metadata file format that smoothly handles these situations. I see the benefits as being:

  1. Easier selection of data from a group of files (as mentioned above)
  2. Easier planning for optimal concat operations, potentially including concatenation over multiple axes simultaneously.
  3. Potentially also ability to do quick "checks" of the integrity of a database of files.

One way to do all this (and probably the most efficient for any given application) would be to create a bonafide database. But this might be overkill in many cases, and scientists often prefer to just deal with files. So I propose we simply create a new HDF5-formatted bespoke format.

Lingua principale
Python
Stelle
103
Fork
40
Merge medio
4g 11h
PR unite (30g)
13

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di RadioAstronomySoftwareGroup/pyuvdata

Tutte le issue di RadioAstronomySoftwareGroup/pyuvdata

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.