Additional ext4-backed mount point for high-throughput I/O caching (besides `/kaggle/working`)
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- docker, linux
調査の方向性
まず、issue の I/O ベンチマークと既存のコンテナマウント設定を確認してください。レポートでは実装ファイルやテストは指定されていません。追加の物理デバイス backed の ext4 マウントを /kaggle/working とは別に定義し、その後、既存のマウント動作を変更せずに、より大きく高速なキャッシュパスを提供することを検証してください。
索引モデルが issue の本文から書いたものです。
説明
🚀 Feature
Provide an additional mount point backed by a physical device (ext4), separate from /kaggle/working, to use as a high-throughput I/O cache (e.g., /tmp).
Motivation
- The container root (
/) appears to be provided via an overlay filesystem; write/metadata performance on overlay can be slower or less predictable than on a host-backed volume such as/kaggle/working. - Some applications default to
/tmpfor I/O-intensive caches; on overlay this default can become an I/O bottleneck. /kaggle/workingis relatively fast and can be an alternatives to/tmp, but its capacity is limited to ~20 GB per session, which is sometimes insufficient to host checkpoint of LLMs (~100GB).- An additional fast endpoint for caching has the potential to better utilize the instance’s compute resources (e.g., T4, P100) that are often bottlenecked by disk I/O.
Additional context
I benchmarked sequential I/O and observed both writes and reads to be slower on /tmp (overlay) than on /kaggle/working (host-backed). Write throughput on /tmp is especially unstable; it sometimes gets ~5–10× lower in my tests.
- 主要言語
- Python
- スター
- 2.7k
- フォーク
- 1k
- 平均マージ
- 5時間 55分
- マージ済み PR（30日）
- 1
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Kaggle/docker-python のほかの issue
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
Kaggle/docker-python#1482 · リアクション 2 件 ·
-
ذ オープン
難易度 5/5 1週間以上 初心者へのやさしさ 1/100
Kaggle/docker-python#1555 ·
-
bug help wanted
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
Kaggle/docker-python#1546 · コメント 4 件 · リアクション 2 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
Kaggle/docker-python#1515 ·
-
bug help wanted
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
Kaggle/docker-python#1504 ·
Kaggle/docker-python の issue をすべて見る
似ている issue
-
bug confirmed issue
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
open-webui/open-webui#30750 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 90/100