Format images as webp within HDF5 with Parquet metadata
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Ambito
- data-engineering
Direzione di ricerca
Non vengono indicati file, test o punti di ingresso. Inizia individuando gli strumenti esistenti per l’elaborazione di immagini Parquet e le relative convenzioni per i metadati, quindi determina come il convertitore debba produrre file HDF5 con immagini WebP e i metadati Parquet associati; il lavoro è completato quando il toolbox è in grado di eseguire questa conversione e supporta il caso d’uso di accesso casuale indicato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Issue:
The access patterns for TreeOfLife image data have evolved toward high-frequency random access, exposing a key performance limitation of the current pure Parquet design. Storage costs are also high. Together, these motivate a search for more performant formats.
Solution:
Storing the images in HDF5 groups has proven to be advantageous over pure Parquet by enabling fast random access that does not rely on more memory utilization than needed for the image(s) of interest. Image metadata is stored alongside .h5 files in query-optimized Parquet files, resulting in a hybrid format.
Furthermore, WebP has shown to be an ideal image format that dramatically reduces disk utilization while remaining lossless with fast decoding performance. This was determined from a comparison among JPG, PNG, AVIF (min/max effort), WebP (min/max effort), and JXL.
Support:
The tests covered:
- Disk utilization for lossless (where possible) formats of 10k sampled images.
- Throughput (wall time to randomly access and decode 1, 10, 100, 1k, and 10k individual images by UUID from the 10k set, N=3).
- Technical complexity / library support.
From the tests, the following were determined:
- Parquet bytes are inefficient for storage and slow for random access. Identical wall time for 1 and 10k images, and even bulk access was worse than other formats.
- AVIF is superb with storage and throughput, but more technically complicated to support for bit-perfect hashing, which is needed for data validation and duplicate management.
- JPG has great performance, but not lossless.
- JXL has superb performance but lags in library support.
- PNG has good throughput but heavy files.
- WebP has excellent storage performance and decent throughput.
Taken together, encoding images as WebP for random access in HDF5 files with metadata querying supported by accompanying Parquet files appears to be an ideal hybrid format for the current use case requirements.
Required action:
A tool should be added to the toolbox that can convert Parquet bytes into the hybrid HDF5(WebP)-Parquet(metadata) format.
- Lingua principale
- Jupyter Notebook
- Stelle
- 9
- Fork
- 1
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Imageomics/TreeOfLife-toolbox
-
Add ORCIDs to Zenodo JSONApertadocumentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 50/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 55/100
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 50/100
Imageomics/TreeOfLife-toolbox#26 · 1 commento ·
-
Generate TreeOfLife DocumentationForse di nuovo libera @thompsonmj l’ha presa 575 giorni fa e non c’è nessuna pull request aperta. Apertadocumentation
Imageomics/TreeOfLife-toolbox#23 · 3 assegnatari ·
-
Add processing tools for exclusion sets (as methods)Forse di nuovo libera @vimar-gu l’ha presa 575 giorni fa e non c’è nessuna pull request aperta. Apertastructure
Imageomics/TreeOfLife-toolbox#22 · 2 commenti · 4 assegnatari ·
Tutte le issue di Imageomics/TreeOfLife-toolbox
Issue simili
-
automated endpoint-dead needs-curation
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
almanac-data/climate-almanac#138 ·
I maintainer di solito rispondono entro 1 giorno
-
afk-ok area:data-quality importer size:S
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
enorm-labs/event-junkie#5278 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
OHDSI/PhenotypeR#728 ·
-
soup loop: a trace line holding U+2028, U+2029 or U+0085 inside a JSON string is split and silently droppedForse già presa @karatarassul4-max l’ha presa oggi. Apertabug claimed difficulty:2
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
MakazhanAlpamys/Soup#3039 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno