Missing index columns after upgrade to dask-expr
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 30/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- data-engineering, distributed-systems
Hướng nghiên cứu
Bắt đầu bằng cách giảm workload phân tán liên quan đến việc đọc parquet rồi thực hiện phép tổng hợp groupby hoặc apply, và ghi nhận lỗi xảy ra quanh bước fuse. So sánh lỗi thiếu cột khi có và không có df.optimize() sau groupby, đồng thời ghi lại một trường hợp có thể tái hiện cùng các điều kiện giải thích tại sao việc tối ưu hóa làm thay đổi kết quả.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Not sure if this qualifies as bug report or not. But we recently bumped dask (2023.12.0 -> 2024.9.1). We are now running into quite a bit of crashes involving missing index keys (usually preceded by read parquet + a bunch of groupby agg/apply).
Here is an example error msg:
KeyError: "None of [Index(['advertisable_eid', 'user', 'subset_id'], dtype='object')] are in the [columns]"
If I step through the code, I can see where its failing. But if I dump out the columns, the dataframe spits out the right columns. Debugging is complicated by the fact that the job only crashes on distributed workload (for now).
Curiously, adding a few strategic df = df.optimize() right after the groupby operation mysteriously resolves the issue. I only accidentally came across the solution and have no idea why it helps.
I am filing it here because the crash logs are filled with calls to this module (esp the fuse step). If there are any tips or tricks to get more debugging traces out of the system, kindly share 🙏🏽
- Ngôn ngữ chính
- Python
- Star
- 89
- Fork
- 26
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của dask/dask-expr
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
-
Predicate pull-up optimizationĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
Tất cả issue của dask/dask-expr
Issue tương tự
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 85/100
WLAN-Pi/wlanpi-profiler#341 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Memory leak: the shared `validation_aborted_error` keeps every traceback it is raised throughCó thể đã có người làm @Fire162 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
graphql-python/graphql-core#287 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
roman-corgi/ctc-dip#160 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
type-bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
render_findings.py reads and writes in the host's default encoding, so findings.html breaks on a cp1252 Windows hostCó thể đã có người làm @Aaqibhafeezkhan đã nhận hôm nay. Đang mởbug good first issue mentored python size: XS up-for-grabs
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
dheerajjha/mcp-migrate#366 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày