kernels-common: hash_variant loads entire file into memory, causing high RSS on large .so files
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 65/100
Línea de trabajo
El issue menciona hash_variant en kernels-common, que lee cada archivo completo antes de calcular su hash. Empieza leyendo esa función y revisando cómo le pasa los bytes al hasher. Está terminado cuando el hash se calcula en bloques de tamaño fijo (unos 64 KiB) con los mismos digests que antes, y el uso máximo de memoria deja de crecer con el tamaño del archivo. Comprueba que las pruebas de hash existentes siguen pasando con los mismos valores esperados. El autor pide primero la confirmación de los mantenedores sobre el enfoque.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
When hashing a kernel variant directory containing large shared libraries, hash_variant calls fs::read to load each file entirely into memory before hashing. On a directory containing a 1 GB .so file this spikes process RSS by ~1 GB.
A streaming approach (64 KiB buffer loop) keeps peak memory bounded regardless of file size, and produces identical digests.
I opened #955 with a fix but it was auto-closed since I'm not vouched yet. Happy to reopen once the approach is confirmed.
- Lenguaje dominante
- Python
- Estrellas
- 783
- Forks
- 143
- Merge medio
- 1 d 17 h
- PR fusionados (30 d)
- 61
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de huggingface/kernels
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
huggingface/kernels#974 ·
Los mantenedores suelen responder en 1 día
-
kernels benchmark pulls from the old model repos and says every gpu is cpuPosiblemente ocupada @drbh la tomó hace 13 días. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
huggingface/kernels#914 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Show kernel dependencies in `kernels info` (with optional `--dep-tree`)Posiblemente ocupada @sayakpaul la tomó hace 2 días. Abierto
huggingface/kernels#973 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
huggingface/kernels#970 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
huggingface/kernels#949 ·
Los mantenedores suelen responder en 1 día
Todos los issues de huggingface/kernels
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
vllm-project/vllm-omni#10051 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Bug Testing
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
SCIInstitute/SCIRun#2931 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 5 días
-
Author Page: barom-kangAbiertoauthor-page correction
Dificultad 2/5 1-3 horas Aptitud para principiantes 64/100
acl-org/acl-anthology#10827 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 91/100
marimo-team/marimo#11768 ·
Los mantenedores suelen responder en 1 día