Additional ext4-backed mount point for high-throughput I/O caching (besides `/kaggle/working`)
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 25/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- docker, linux
- Bereich
- infrastructure, operating-systems
Rechercherichtung
Beginnen Sie damit, den I/O-Benchmark des Issues und die bestehende Container-Mount-Konfiguration zu überprüfen; im Bericht werden keine Implementierungsdateien oder Tests genannt. Definieren Sie den zusätzlichen ext4-Mount, der von einem physischen Gerät unterstützt wird, getrennt von /kaggle/working, und überprüfen Sie anschließend, dass er einen größeren und schnelleren Cache-Pfad bereitstellt, ohne das bestehende Mount-Verhalten zu ändern.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
🚀 Feature
Provide an additional mount point backed by a physical device (ext4), separate from /kaggle/working, to use as a high-throughput I/O cache (e.g., /tmp).
Motivation
- The container root (
/) appears to be provided via an overlay filesystem; write/metadata performance on overlay can be slower or less predictable than on a host-backed volume such as/kaggle/working. - Some applications default to
/tmpfor I/O-intensive caches; on overlay this default can become an I/O bottleneck. /kaggle/workingis relatively fast and can be an alternatives to/tmp, but its capacity is limited to ~20 GB per session, which is sometimes insufficient to host checkpoint of LLMs (~100GB).- An additional fast endpoint for caching has the potential to better utilize the instance’s compute resources (e.g., T4, P100) that are often bottlenecked by disk I/O.
Additional context
I benchmarked sequential I/O and observed both writes and reads to be slower on /tmp (overlay) than on /kaggle/working (host-backed). Write throughput on /tmp is especially unstable; it sometimes gets ~5–10× lower in my tests.
- Vorherrschende Sprache
- Python
- Sterne
- 2.7k
- Forks
- 1k
- Ø Merge
- 4 Std. 12 Min.
- Gemergte PRs (30 T.)
- 1
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus Kaggle/docker-python
-
enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
Kaggle/docker-python#1482 · 2 Reaktionen ·
-
ذOffen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 1/100
Kaggle/docker-python#1555 ·
-
Pytorch CUDA P100 GPU IncompatibilityEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offenbug help wanted
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100
Kaggle/docker-python#1546 · 4 Kommentare · 2 Reaktionen ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
Kaggle/docker-python#1515 ·
-
bug help wanted
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
Kaggle/docker-python#1504 ·
Alle Issues in Kaggle/docker-python
Ähnliche Issues
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 75/100
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
data-umbrella/du-event-board#225 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100