Additional ext4-backed mount point for high-throughput I/O caching (besides `/kaggle/working`)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- docker, linux
Línea de trabajo
Comience revisando el benchmark de I/O del issue y la configuración existente de montajes del contenedor; el informe no menciona archivos de implementación ni pruebas. Defina el montaje ext4 adicional respaldado por un dispositivo físico por separado de /kaggle/working y, a continuación, verifique que proporcione una ruta de caché más grande y rápida sin cambiar el comportamiento del montaje existente.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
🚀 Feature
Provide an additional mount point backed by a physical device (ext4), separate from /kaggle/working, to use as a high-throughput I/O cache (e.g., /tmp).
Motivation
- The container root (
/) appears to be provided via an overlay filesystem; write/metadata performance on overlay can be slower or less predictable than on a host-backed volume such as/kaggle/working. - Some applications default to
/tmpfor I/O-intensive caches; on overlay this default can become an I/O bottleneck. /kaggle/workingis relatively fast and can be an alternatives to/tmp, but its capacity is limited to ~20 GB per session, which is sometimes insufficient to host checkpoint of LLMs (~100GB).- An additional fast endpoint for caching has the potential to better utilize the instance’s compute resources (e.g., T4, P100) that are often bottlenecked by disk I/O.
Additional context
I benchmarked sequential I/O and observed both writes and reads to be slower on /tmp (overlay) than on /kaggle/working (host-backed). Write throughput on /tmp is especially unstable; it sometimes gets ~5–10× lower in my tests.
- Lenguaje dominante
- Python
- Estrellas
- 2.7k
- Forks
- 1k
- Merge medio
- 5 h 55 min
- PR fusionados (30 d)
- 1
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Kaggle/docker-python
-
add python3.11-venv package Abiertoenhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Kaggle/docker-python#1482 · 2 reacciones ·
-
ذ Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 1/100
Kaggle/docker-python#1555 ·
-
bug help wanted
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
Kaggle/docker-python#1546 · 4 comentarios · 2 reacciones ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
Kaggle/docker-python#1515 ·
-
bug help wanted
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
Kaggle/docker-python#1504 ·
Todos los issues de Kaggle/docker-python
Issues similares
-
bug confirmed issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
open-webui/open-webui#30750 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
good first issue
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100