Spike: evaluate if cuDF can be used with datafusion-python

未關閉

#936 建立於 2024年10月28日 8 則留言 1 個 reaction 已指派 0 人在 GitHub 檢視

還沒有人認領這個 Issue。

評估

難度: 5/5
預估耗時: 一週以上
新手友好度: 25/100

Issue 類型: 功能
描述清晰度: 需要釐清
活躍度: 停滯
技術堆疊: cpp, python
領域: data-engineering

研究方向

未指定具體的檔案、測試或進入點。檢視現有的 pandas 與 polars 互操作性工作，然後評估 cuDF DataFrame 的評估及其 C++ 介面。完成的標準是記錄所需的工作量、技術限制，以及是否存在上游 DataFusion 機會。

由索引模型根據 Issue 內容生成。

描述

enhancement

Is your feature request related to a problem or challenge? Please describe what you are trying to do.

As other DataFrame libraries start moving to leveraging GPU resources, it would be useful to see if we could leverage the work already done in pandas and polars for interoperating with cuDF to give a similar experience in DataFusion.

Describe the solution you'd like

Evaluate the level of effort and technical limitations to using cuDF to evaluate DataFrames. Also worth evaluating is their c++ interface which we could potentially bring in to DataFusion upstream if we are willing to write the appropriate wrappers.

Describe alternatives you've considered

Leave as is.

Additional context

This task is really just focused on researching what would be required and if there is an opportunity here.

主要語言: Python
星號: 605
分支: 176
平均合併: 1 天 23 小時
30 天內合併 PR: 8

貢獻指南

這個儲存庫沒有索引到貢獻指南

從這裡開始

先讀完整個 Issue，再讀專案的貢獻指南。
在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
Fork 儲存庫，在一個分支上完成修改。
送出 Pull Request，並在描述裡引用這個 Issue 編號。

apache/datafusion-python 的其他 Issue

Allow "str" for function arguments that accept "col" expressions 未關閉

enhancement

難度 2/5 1-3 小時新手友好度 70/100

apache/datafusion-python#1757 · 2026年9月22日建立
Rewrite the "Encode metadata, not a handle to a live object" section 未關閉

documentation

難度 2/5 1-3 小時新手友好度 72/100

apache/datafusion-python#1726 · 2026年9月11日建立
Missing docstring examples in the `unparser` module 未關閉

難度 2/5 半天新手友好度 88/100

apache/datafusion-python#1691 · 2026年8月16日建立
Build fails against DataFusion 54.1.0 due to new `schema` field on `RecursiveQuery` 未關閉

bug

難度 2/5 1-3 小時新手友好度 78/100

apache/datafusion-python#1644 · 2026年7月24日建立
Allow extension libraries to contribute object stores over FFI 未關閉

enhancement

難度 5/5 一週以上新手友好度 30/100

apache/datafusion-python#1737 · 2026年9月15日建立

查看 apache/datafusion-python 的全部 Issue

相似的 Issue

[essnmx] Fix typo in NXLauetof application definition 未關閉

essnmx good first issue

難度 1/5 1 小時以內新手友好度 95/100

scipp/ess#760 · 2026年9月23日建立
[Feature] 奇物选择添加优先级未關閉

難度 2/5 1-3 小時新手友好度 65/100

syfoud/Simulated_Scepter#174 · 2026年9月23日建立
garak adapter grades a NaN detector score as PASS 未關閉

難度 2/5 1-3 小時新手友好度 75/100

Giskard-AI/giskard-oss#2840 · 1 則留言 · 2026年9月23日建立
A claim comment carrying the issue number is silently declined while the workflow reports success 未關閉

area: repo bug perceived difficulty: 2

難度 2/5 1-3 小時新手友好度 70/100

Nitjsefnie-Harness-Commons/daedalus#926 · 2026年9月23日建立
`IOCExtractor` always fails: `ioc_analyzer.build()` takes 1 argument but the agent dispatcher passes 2 未關閉

難度 2/5 1-3 小時新手友好度 75/100

yeti-platform/yeti#1380 · 2026年9月23日建立

更多 Python Issue