Feature Request/Idea: Meta-MetaData File
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 20/100
Direzione di ricerca
Inizia esaminando come sono rappresentati i file UVData e i relativi metadati, quindi analizza la gestione esistente di UVH5/HDF5 nel progetto. Definisci il formato proposto dei metadati dei metadati, le informazioni per la selezione dei file, i dati per la pianificazione della concatenazione e i controlli di integrità prima dell’implementazione; il lavoro è considerato completato quando il formato e il relativo ambito sono concordati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Every UVData file contains metadata, but often in real applications you have MANY such files. For example HERA has many files per night, each with two integrations (and otherwise, all the same metadata). OTOH, our large-scale simulations tend to output many files with one frequency per file.
Sometimes, finding the file you really need is quite tricky (sometimes not, of course). For instance, when LST-binning, you need to know the LSTs of within the file, but this can be difficult to put into the filename, for example. But reading every file within a folder to find the right file can take a LONG time, because just creating file handles for so many files takes a long time, not to mention actually reading any of the data.
I propose that we create a meta-metadata file format that smoothly handles these situations. I see the benefits as being:
- Easier selection of data from a group of files (as mentioned above)
- Easier planning for optimal
concatoperations, potentially including concatenation over multiple axes simultaneously. - Potentially also ability to do quick "checks" of the integrity of a database of files.
One way to do all this (and probably the most efficient for any given application) would be to create a bonafide database. But this might be overkill in many cases, and scientists often prefer to just deal with files. So I propose we simply create a new HDF5-formatted bespoke format.
- Lingua principale
- Python
- Stelle
- 103
- Fork
- 40
- Merge medio
- 4g 11h
- PR unite (30g)
- 13
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di RadioAstronomySoftwareGroup/pyuvdata
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
RadioAstronomySoftwareGroup/pyuvdata#1751 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
RadioAstronomySoftwareGroup/pyuvdata#1750 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 3/5 Mezza giornata Idoneità per principianti 48/100
RadioAstronomySoftwareGroup/pyuvdata#1749 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
RadioAstronomySoftwareGroup/pyuvdata#1748 ·
I maintainer di solito rispondono entro 3 giorni
-
Documentation updatesAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
RadioAstronomySoftwareGroup/pyuvdata#1743 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di RadioAstronomySoftwareGroup/pyuvdata
Issue simili
-
Internal ErrorApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
frappe/frappe_docker#2071 ·
I maintainer di solito rispondono entro 1 giorno
-
bug python
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
traceloop/openllmetry#4717 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
The-Pocket/PocketFlow#161 ·
-
[Bug]: Webapp workspace fails to render in Safari — "Can't find variable: requestIdleCallback"Apertacomp/desktop P2 type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
NousResearch/hermes-agent#157702 ·
I maintainer di solito rispondono entro 1 giorno
-
scibench_physics / scibench_chemistry: a correct answer scores 0 when the unit has a power of tenForse già presa @BahaaMattar l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
EvolvingLMMs-Lab/lmms-eval#1699 ·
I maintainer di solito rispondono entro 1 giorno