Spike: evaluate if cuDF can be used with datafusion-python

オープン

#936 2024年10月28日に作成コメント 8 件リアクション 1 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 25/100

issue の種類: 機能追加
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: cpp, python
領域: data-engineering

調査の方向性

特定のファイル、テスト、エントリーポイントは指定されていません。既存の pandas と polars の相互運用性に関する作業を確認し、その後、cuDF DataFrame の評価とその C++ インターフェースを評価してください。必要な作業量、技術的な制限事項、および DataFusion に upstream の機会が存在するかどうかを文書化すれば完了です。

索引モデルが issue の本文から書いたものです。

説明

enhancement

Is your feature request related to a problem or challenge? Please describe what you are trying to do.

As other DataFrame libraries start moving to leveraging GPU resources, it would be useful to see if we could leverage the work already done in pandas and polars for interoperating with cuDF to give a similar experience in DataFusion.

Describe the solution you'd like

Evaluate the level of effort and technical limitations to using cuDF to evaluate DataFrames. Also worth evaluating is their c++ interface which we could potentially bring in to DataFusion upstream if we are willing to write the appropriate wrappers.

Describe alternatives you've considered

Leave as is.

Additional context

This task is really just focused on researching what would be required and if there is an opportunity here.

主要言語: Python
スター: 605
フォーク: 176
平均マージ: 1日 23時間
マージ済み PR（30日）: 8

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

apache/datafusion-python のほかの issue

Rewrite the "Encode metadata, not a handle to a live object" section オープン

documentation

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

apache/datafusion-python#1726 · 2026年9月11日に作成
Missing docstring examples in the `unparser` module オープン

難易度 2/5 半日初心者へのやさしさ 88/100

apache/datafusion-python#1691 · 2026年8月16日に作成
Build fails against DataFusion 54.1.0 due to new `schema` field on `RecursiveQuery` オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/datafusion-python#1644 · 2026年7月24日に作成
Allow extension libraries to contribute object stores over FFI オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 30/100

apache/datafusion-python#1737 · 2026年9月15日に作成
CsvReadOptions.null_regex has no effect: matching values are read as literal strings, and fail the read in a numeric column オープン

難易度 3/5 1〜2日初心者へのやさしさ 76/100

apache/datafusion-python#1735 · コメント 1 件 · 2026年9月12日に作成

apache/datafusion-python の issue をすべて見る

似ている issue

`rfdetr.export.benchmark` always crashes unless `--disable_eval` is passed オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

roboflow/rf-detr#1501 · 2026年9月22日に作成
[Bug]: agentos migrate openclaw maps google/gemini-... and zhipu/... models to no provider, so they fall back to openrouter and the user's provider key goes unused オープン

難易度 2/5 1〜3時間初心者へのやさしさ 88/100

use-agent-os/agent-os#3314 · 2026年9月22日に作成
[Bounty proposal] docs(cli): Sorani (ckb) agent quickstart ($25 proposed) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

BasedHardware/omi#15662 · コメント 1 件 · 2026年9月22日に作成
Document that a SQLite trail allows only one writer オープン

documentation help wanted

難易度 2/5 1〜3時間初心者へのやさしさ 90/100

rajfirke/provena#202 · 2026年9月22日に作成
AnduinOS 2.0.3 - Canonical and Ubuntu seen オープン

難易度 2/5 1〜3時間初心者へのやさしさ 62/100

AiursoftWeb/AnduinOS-2#19 · 2026年9月22日に作成

Python の issue をもっと見る