Missing index columns after upgrade to dask-expr
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 30/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python
调研方向
首先缩小涉及读取 parquet 后进行 groupby 聚合或 apply 的分布式工作负载，并捕获 fuse 步骤附近的失败。比较 groupby 后有无 df.optimize() 时的缺失列失败，并记录一个可复现的案例，以及解释优化为何会改变结果的条件。
由索引模型根据 Issue 内容生成。
描述
Not sure if this qualifies as bug report or not. But we recently bumped dask (2023.12.0 -> 2024.9.1). We are now running into quite a bit of crashes involving missing index keys (usually preceded by read parquet + a bunch of groupby agg/apply).
Here is an example error msg:
KeyError: "None of [Index(['advertisable_eid', 'user', 'subset_id'], dtype='object')] are in the [columns]"
If I step through the code, I can see where its failing. But if I dump out the columns, the dataframe spits out the right columns. Debugging is complicated by the fact that the job only crashes on distributed workload (for now).
Curiously, adding a few strategic df = df.optimize() right after the groupby operation mysteriously resolves the issue. I only accidentally came across the solution and have no idea why it helps.
I am filing it here because the crash logs are filled with calls to this module (esp the fuse step). If there are any tips or tricks to get more debugging traces out of the system, kindly share 🙏🏽
- 主要语言
- Python
- 星标
- 89
- 派生
- 26
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
dask/dask-expr 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 38/100
-
难度 3/5 1-2 天 新手友好度 45/100
-
难度 5/5 一周以上 新手友好度 30/100
-
难度 3/5 1-2 天 新手友好度 25/100
-
难度 4/5 3-5 天 新手友好度 35/100
相似的 Issue
-
component:benchmark
难度 2/5 1-3 小时 新手友好度 76/100
agentic-os-org/ANOLISA#9177 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 88/100
distrochooser/distrochooser#520 ·
维护者通常 2 天内回复
-
Status: Needs confirmation Status: Needs triage
难度 2/5 1-3 小时 新手友好度 64/100
维护者通常 1 天内回复
-
[BUG] Published Docker images lack the redis extra: HEADROOM_COMPRESS_SESSION_STORE stops startup可能已有人在做 @AlessandroSpallina 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 76/100
headroomlabs-ai/headroom#4513 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 65/100
codespell-project/codespell#4060 ·
维护者通常 1 天内回复