[CORE] Selecting a cost model the backend has no coster for fails with ClassNotFoundException
Maintainer thường phản hồi trong vòng 3 ngày
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 66/100
Hướng nghiên cứu
Bắt đầu từ GlutenCostModel.find, hàm này coi tên không xác định là tên lớp, sau đó kiểm tra LongCostModel.Kind.values() và LongCostModel.Registry.get. Tái hiện lỗi bằng backend ClickHouse và spark.gluten.costModel=rough. Bản sửa cần từ chối cost model chưa đăng ký ngay trong bước tra cứu và đưa tên cấu hình vào thông báo lỗi. Thêm hoặc cập nhật một bài kiểm thử Scala bao phủ kind không xác định và chuỗi coster rỗng. Hoàn thành khi lỗi xảy ra ngay lúc tra cứu với thông báo rõ ràng.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
When spark.gluten.costModel names a built-in cost model that the backend registers no coster for, the error does not say so. The ClickHouse backend only registers LegacyCoster, so the rough kind is never initialized and is missing from LongCostModel.Kind.values(). Setting spark.gluten.costModel=rough there makes GlutenCostModel.find treat rough as a class name and fail with ClassNotFoundException: rough. Even when the kind is known, LongCostModel.Registry.get returns an empty coster chain, and the failure only surfaces later as Cost not found for node: ....
Gluten could reject such a cost model when it is looked up and name the config.
This issue was written with the assistance of AI (Claude Opus).
- Ngôn ngữ chính
- Scala
- Star
- 1.6k
- Fork
- 679
- Merge trung bình
- 4 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 84
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/gluten
-
bug unit testing velox backend
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
apache/gluten#13463 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 3 ngày
-
[VL] madvise(WILLNEED) call fails in MmapFileStream because of wrong calculation of fetching lengthCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mởbug triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 3 ngày
-
[VL] Document CA bundle path fix for S3 hang on non-RHEL runtime images (root cause of #10670)Đang mởenhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
apache/gluten#12711 · 2 bình luận · 1 reaction ·
Maintainer thường phản hồi trong vòng 3 ngày
Tất cả issue của apache/gluten
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
rchillyard/TableParser#206 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 2 ngày
-
? - Needs Triage bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
NVIDIA/cudf-spark#17063 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
bug 🐞 User issue 🚨
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
valkey-io/valkey-glide#7813 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày