Update Zstd decompression for "unknown decompressed size" when streaming API was used for compression
@ajelenak ya está trabajando en esto.
Desde el 2/1/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Introduction
The Zstandard plugin for HDF5 should be modified to allow for an unknown decompressed size in the frame header.
Currently, the Zstd decompression scheme, following from the original implemention, uses ZSTD_getDecompressedSize to obtain the size of the decompressed buffer. The returned value is not validated and passed directly to malloc.
ZSTD_getDecompressedSize returns 0 if the decompressed size is empty, unknown, or an error has occured. If malloc is asked to allocate 0 bytes, it will return NULL, resulting in returning an error condition. This is an incorrect result if the decompressed size is actually empty or unknown and there is no actual error. ZSTD_getDecompressedSize is obsolete.
ZSTD_getFrameContentSize should replace the use of ZSTD_getDecompressedSize. ZSTD_getFrameContentSize distinguishes between empty, unknown, or an error. The unknown or error states are indicated by a return value of ZSTD_CONTENTSIZE_UNKNOWN or ZSTD_CONTENTSIZE_ERROR, respectively.
The unknown decompression state is common. This occurs when the compression is done via the streaming API via ZSTD_compressStream or ZSTD_compressStream2. ZSTD_compressStream2 in particular only stores the frame size when either ZSTD_e_end is provided on the initial call or ZSTD_CCtx_setPledgedSrcSize is used.
Tasks
- Use
ZSTD_getFrameContentSizeinstead of the obsoleteZSTD_getDecompressedSizeto correctly distinguish between empty, unknown, or error states when determining the decompressed size. - Recognize the unknown size state by checking the return value of
ZSTD_getFrameContentSizeagainstZSTD_CONTENTSIZE_UNKNOWN - Address unknown size state by growing buffer if needed or using stream decompression API via
ZSTD_decompressStream- The HDF5 library should know the expected number of bytes for a chunk. We should not be relying on the filter to figure this out.
References
- Lenguaje dominante
- CMake
- Estrellas
- 21
- Forks
- 27
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de HDFGroup/hdf5_plugins
-
Dificultad 4/5 3-5 días Aptitud para principiantes 50/100
HDFGroup/hdf5_plugins#291 ·
-
Dificultad 3/5 Medio día Aptitud para principiantes 45/100
HDFGroup/hdf5_plugins#288 ·
-
Reading ZSTD compressed HDF5 files in HDFView and/or ParaView with HDF5 ZSTD plugin on Windows causes heap failure and crashPosiblemente ocupada @lrknox la tomó hace 3 días. Abierto
HDFGroup/hdf5_plugins#289 · 7 comentarios · 1 asignado ·
-
Canonical name confirmation for H5Z_class3_t filter pluginsQuizá libre de nuevo @ajelenak la tomó hace 119 días y no hay ningún pull request abierto. Abierto
HDFGroup/hdf5_plugins#255 · 27 comentarios · 3 reacciones · 1 asignado ·
-
blosc2 fails to link on OpenBSDQuizá libre de nuevo @ajelenak la tomó hace 119 días y no hay ningún pull request abierto. AbiertoComponent - Build Filter - BLOSC(2)
HDFGroup/hdf5_plugins#252 · 1 comentario · 1 asignado ·