Format images as webp within HDF5 with Parquet metadata

Aperta
#38 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Ferma

Direzione di ricerca

Non vengono indicati file, test o punti di ingresso. Inizia individuando gli strumenti esistenti per l’elaborazione di immagini Parquet e le relative convenzioni per i metadati, quindi determina come il convertitore debba produrre file HDF5 con immagini WebP e i metadati Parquet associati; il lavoro è completato quando il toolbox è in grado di eseguire questa conversione e supporta il caso d’uso di accesso casuale indicato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Issue:
The access patterns for TreeOfLife image data have evolved toward high-frequency random access, exposing a key performance limitation of the current pure Parquet design. Storage costs are also high. Together, these motivate a search for more performant formats.

Solution:
Storing the images in HDF5 groups has proven to be advantageous over pure Parquet by enabling fast random access that does not rely on more memory utilization than needed for the image(s) of interest. Image metadata is stored alongside .h5 files in query-optimized Parquet files, resulting in a hybrid format.

Furthermore, WebP has shown to be an ideal image format that dramatically reduces disk utilization while remaining lossless with fast decoding performance. This was determined from a comparison among JPG, PNG, AVIF (min/max effort), WebP (min/max effort), and JXL.

Support:
The tests covered:

  • Disk utilization for lossless (where possible) formats of 10k sampled images.
  • Throughput (wall time to randomly access and decode 1, 10, 100, 1k, and 10k individual images by UUID from the 10k set, N=3).
  • Technical complexity / library support.

From the tests, the following were determined:

  • Parquet bytes are inefficient for storage and slow for random access. Identical wall time for 1 and 10k images, and even bulk access was worse than other formats.
  • AVIF is superb with storage and throughput, but more technically complicated to support for bit-perfect hashing, which is needed for data validation and duplicate management.
  • JPG has great performance, but not lossless.
  • JXL has superb performance but lags in library support.
  • PNG has good throughput but heavy files.
  • WebP has excellent storage performance and decent throughput.

Taken together, encoding images as WebP for random access in HDF5 files with metadata querying supported by accompanying Parquet files appears to be an ideal hybrid format for the current use case requirements.

Required action:
A tool should be added to the toolbox that can convert Parquet bytes into the hybrid HDF5(WebP)-Parquet(metadata) format.

Lingua principale
Jupyter Notebook
Stelle
9
Fork
1
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Imageomics/TreeOfLife-toolbox

Tutte le issue di Imageomics/TreeOfLife-toolbox

Issue simili

Altre issue su Data Engineering

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.