Spike: evaluate if cuDF can be used with datafusion-python

未关闭

#936 创建于 2024年10月28日 8 条评论 1 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 5/5
预计耗时: 一周以上
新手友好度: 25/100

Issue 类型: 功能
描述清晰度: 需要澄清
活跃度: 停滞
技术栈: cpp, python
领域: data-engineering

调研方向

未指定具体的文件、测试或入口点。审查现有的 pandas 和 polars 互操作性工作，然后评估 cuDF DataFrame 的评估及其 C++ 接口。完成的标准是记录所需的工作量、技术限制，以及是否存在上游 DataFusion 机会。

由索引模型根据 Issue 内容生成。

描述

enhancement

Is your feature request related to a problem or challenge? Please describe what you are trying to do.

As other DataFrame libraries start moving to leveraging GPU resources, it would be useful to see if we could leverage the work already done in pandas and polars for interoperating with cuDF to give a similar experience in DataFusion.

Describe the solution you'd like

Evaluate the level of effort and technical limitations to using cuDF to evaluate DataFrames. Also worth evaluating is their c++ interface which we could potentially bring in to DataFusion upstream if we are willing to write the appropriate wrappers.

Describe alternatives you've considered

Leave as is.

Additional context

This task is really just focused on researching what would be required and if there is an opportunity here.

主要语言: Python
星标: 605
派生: 176
平均合并: 1 天 23 小时
30 天内合并 PR: 8

贡献指南

这个仓库没有索引到贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

apache/datafusion-python 的其他 Issue

Rewrite the "Encode metadata, not a handle to a live object" section 未关闭

documentation

难度 2/5 1-3 小时新手友好度 72/100

apache/datafusion-python#1726 · 2026年9月11日创建
Missing docstring examples in the `unparser` module 未关闭

难度 2/5 半天新手友好度 88/100

apache/datafusion-python#1691 · 2026年8月16日创建
Build fails against DataFusion 54.1.0 due to new `schema` field on `RecursiveQuery` 未关闭

bug

难度 2/5 1-3 小时新手友好度 78/100

apache/datafusion-python#1644 · 2026年7月24日创建
Allow extension libraries to contribute object stores over FFI 未关闭

enhancement

难度 5/5 一周以上新手友好度 30/100

apache/datafusion-python#1737 · 2026年9月15日创建
CsvReadOptions.null_regex has no effect: matching values are read as literal strings, and fail the read in a numeric column 未关闭

难度 3/5 1-2 天新手友好度 76/100

apache/datafusion-python#1735 · 1 条评论 · 2026年9月12日创建

查看 apache/datafusion-python 的全部 Issue

相似的 Issue

Add: hunch 未关闭

难度 2/5 1-3 小时新手友好度 74/100

AbdelStark/awesome-typesafe#104 · 2026年9月22日创建
Add URL dialog: OK button should be labelled Add, and should validate required fields 未关闭

enhancement

难度 2/5 1-3 小时新手友好度 72/100

translate/virtaal#3687 · 2026年9月22日创建
I15-1: Switch to use new fast shutter PV 未关闭

难度 2/5 1-3 小时新手友好度 68/100

DiamondLightSource/dodal#2211 · 2026年9月22日创建
TEST Add sparse dataset inclusion coverage for row ID and ignore attributes. 未关闭

难度 2/5 1-3 小时新手友好度 88/100

openml/openml-python#1749 · 2026年9月22日创建
pii_scan gate does not block on its two critical rules: an SSN or credit-card number passes 未关闭

难度 2/5 1-3 小时新手友好度 88/100

sipyourdrink-ltd/bernstein#6191 · 2026年9月22日创建

更多 Python Issue