Additional ext4-backed mount point for high-throughput I/O caching (besides `/kaggle/working`)
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- docker, linux
- Domaine
- infrastructure, operating-systems
Piste de recherche
Commencez par examiner le benchmark d’I/O de l’issue et la configuration existante des montages du conteneur ; aucun fichier d’implémentation ni test n’est mentionné dans le rapport. Définissez séparément de /kaggle/working le montage ext4 supplémentaire adossé à un périphérique physique, puis vérifiez qu’il fournit un chemin de cache plus grand et plus rapide sans modifier le comportement du montage existant.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
🚀 Feature
Provide an additional mount point backed by a physical device (ext4), separate from /kaggle/working, to use as a high-throughput I/O cache (e.g., /tmp).
Motivation
- The container root (
/) appears to be provided via an overlay filesystem; write/metadata performance on overlay can be slower or less predictable than on a host-backed volume such as/kaggle/working. - Some applications default to
/tmpfor I/O-intensive caches; on overlay this default can become an I/O bottleneck. /kaggle/workingis relatively fast and can be an alternatives to/tmp, but its capacity is limited to ~20 GB per session, which is sometimes insufficient to host checkpoint of LLMs (~100GB).- An additional fast endpoint for caching has the potential to better utilize the instance’s compute resources (e.g., T4, P100) that are often bottlenecked by disk I/O.
Additional context
I benchmarked sequential I/O and observed both writes and reads to be slower on /tmp (overlay) than on /kaggle/working (host-backed). Write throughput on /tmp is especially unstable; it sometimes gets ~5–10× lower in my tests.
- Langage dominant
- Python
- Étoiles
- 2.7k
- Forks
- 1k
- Merge moyen
- 4 h 12 min
- PR mergées (30 j)
- 1
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de Kaggle/docker-python
-
add python3.11-venv packageOuverteenhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
Kaggle/docker-python#1482 · 2 réactions ·
-
ذOuverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 1/100
Kaggle/docker-python#1555 ·
-
Pytorch CUDA P100 GPU IncompatibilityPeut-être pris @shivansh193 l’a pris il y a 34 jours. Ouvertebug help wanted
Difficulté 4/5 3-5 jours Accessibilité débutants 42/100
Kaggle/docker-python#1546 · 4 commentaires · 2 réactions ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
Kaggle/docker-python#1515 ·
-
bug help wanted
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
Kaggle/docker-python#1504 ·
Toutes les issues de Kaggle/docker-python
Issues similaires
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Deepak3699/Ai_Mentor#244 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
btclib-org/btclib-node#1880 ·
Les mainteneurs répondent en général sous 1 jour
-
CONTRIBUTING.md: say how ticketless bug fixes and feature PRs are handledPeut-être pris @khuisman l’a pris aujourd’hui. Ouvertev0.9.2
Difficulté 1/5 Moins d'une heure Accessibilité débutants 84/100
khuisman/mcp-gee-sweet#941 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
pyjanitor-devs/pyjanitor#1758 ·
Les mainteneurs répondent en général sous 1 jour
-
bug ready for review
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
odysseus-dev/odysseus#6641 ·
Les mainteneurs répondent en général sous 1 jour