[QUESTION] Sharing a Python cudf, or better, dask-cudf?
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 18/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- javascript, node.js, python
調査の方向性
これはスコープを限定した実装タスクではなく、設計上の問題です。ファイルやテストは指定されていません。まず、ここで説明されている RMM/UCX CUDA IPC パスと Python cudf から Node.js への境界を確認し、その後、最小限の cudf IPC 読み取りパスとその検証を定義してから、dask-cudf や公開済みデータセットに取り組んでください。
索引モデルが issue の本文から書いたものです。
説明
Hi @trxcllnt & team!
Curious if any pointers on this. Ultimately, we're trying to setup a basic ~LRU over Python-managed dask-cudf objects (raw ddf or published) and have node do reads+writes with it. That's probably too big a leap for now, but I'm wondering if we can do something in the near term by scoping down to just CUDA IPC + cudf, or something similar?
Ultimate ideal case: multi-gpu dask
Ideally for the read direction, for example:
Dask-based Python publish:
ddf = dask.dataframe....
client.persist(ddf)
client.publish_dataset(xyz=ddf)
Dask-based JS load:
var ddf = nodeDaskCudf.getDataset('xyz'); // does not exist
var gdf = ddf.compute(); // does not exist
var arr = ddf.toArrow();
Near-term workaround via cudf + CUDA IPC
So I'm wondering: If we scoped down to python cudf <> node cudf, would this become doable, say via CUDA IPC?
Ex: Read direction
Python cudf pointer publish:
ddf = dask.dataframe....
gdf = client.compute(ddf)
handle : str = gdf.get_ipc_handle() # RMM / UCX basically do this already afaict
request.post(f'/nodejs/?handle={handle})
JS cudf readback:
function cb(handle) {
var gdf = cudf.fromIPCHandle(handle); // ???
var arr = gdf.toArrow();
}
- 主要言語
- TypeScript
- スター
- 211
- フォーク
- 29
- 平均マージ
- 17時間 30分
- マージ済み PR（30日）
- 1
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
rapidsai/node のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 10/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
mksglu/context-mode#1200 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
jaegertracing/jaeger-ui#4506 ·
-
area:desktop area:ui bug platform:macos
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
anthropics/claude-code#96687 ·
-
good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
AOSSIE-Org/DebateAI#582 · コメント 2 件 ·