Use pyarrow.compute.unique on struct arrays once a struct kernel ships
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
Read PR #167 and inspect the lazy backend to understand the removed eager duplicate detection and whether any row set uniqueness check has since been added. Check whether the project's supported PyArrow version provides a struct kernel for pyarrow.compute.unique; the issue describes the proposed StructArray approach. Done means the applicable uniqueness check uses that kernel when available, with a count check.
由索引模型根据 Issue 内容生成。
描述
Tracking issue for a small follow-up on PR #167.
Inside the now-removed eager duplicate-detection path we used a Python set over per-row dim tuples instead of pyarrow.compute.unique on a StructArray because pc.unique does not have a struct kernel in pyarrow 23.0.0:
pyarrow.lib.ArrowNotImplementedError: Function 'unique' has no kernel matching input types (struct<lat: double, lon: int64>)
When the dependency floor moves and pyarrow adds the kernel, the Python-side scan can be replaced with a single pc.unique(pa.StructArray.from_arrays([table.column(d) for d in dimension_columns])) and a count check.
Currently the eager reshape path no longer exists in the lazy backend (PR #167 unified eager and lazy), but the same pattern may resurface if a future feature reintroduces row-set uniqueness checks on the SQL output (e.g. for stricter duplicate diagnostics on aggregation results). Filing here so it isn't lost.
- 主要语言
- Python
- 星标
- 142
- 派生
- 19
- 平均合并
- 1 天 9 小时
- 30 天内合并 PR
- 9
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
xqlsystems/xarray-sql 的其他 Issue
-
documentation
难度 1/5 1-3 小时 新手友好度 85/100
xqlsystems/xarray-sql#268 ·
维护者通常 1 天内回复
-
enhancement
难度 2/5 1-3 小时 新手友好度 64/100
xqlsystems/xarray-sql#267 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 74/100
xqlsystems/xarray-sql#243 ·
维护者通常 1 天内回复
-
publish.yml: the TestPyPI verification step is unreachable (and installs the wrong package name)未关闭
难度 2/5 1-3 小时 新手友好度 62/100
xqlsystems/xarray-sql#242 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
xqlsystems/xarray-sql#237 ·
维护者通常 1 天内回复
查看 xqlsystems/xarray-sql 的全部 Issue
相似的 Issue
-
Pull-through from gcr.io returns 500 when pulling using podman/buildah可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭Issue Triage-Needed
难度 2/5 1-3 小时 新手友好度 68/100
pulp/pulp_container#2581 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 85/100
521xueweihan/HelloGitHub#4040 ·
-
bug
难度 2/5 1-3 小时 新手友好度 64/100
ClanGenOfficial/clangen#6313 ·
维护者通常 2 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 1 天内回复
-
bug(trainer): CustomTrainer func_args with non literal values fail inside the TrainJob可能已有人在做 @avanishkasar 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复