Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

CI: Distributed fixtures not compliant with dask-jobqueue

Đang mở
  • Có gì không ổn?
#569 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
20/100
Loại issue
Tái cấu trúc
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
distributed-systems, testing

Hướng nghiên cứu

Bắt đầu bằng việc xem xét các fixture override được mô tả trong #562, đặc biệt là cleanup, loop và distributed.utils_test.reset_config, sau đó so sánh chúng với các thay đổi của distributed được liên kết trong issue. Kiểm tra xem cấu hình dask-jobqueue có thể được reset cùng với cấu hình của distributed mà không cần override hay không, và xác định xem fixture loop còn cần thiết khi dùng SpecCluster hay không. Công việc được xem là hoàn tất khi đã thống nhất được một hướng tiếp cận, có thể bao gồm cả một bản sửa trong distributed.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

I hesitated to put this issue as a comment in #567, but I'm under the impression we have two separate problems.

In #562, I override the cleanup fixture from distributed to prevent it from removing the default MainThread loop (so #567 related), but also to make it reload the dask-jobqueue configuration into dask.config. Since distributed last 2022.08.0 version, the loop fixture we used into our tests has also been modified (https://github.com/dask/distributed/commit/172e37f41f84f117ec79a1186a951be6f66db7f3). In this new version, config is also reset, so I directly modify the method distributed.utils_test.reset_config to also reload dask-jobqueue config.

Question is: how could we use these fixtures without these hacks? How to make dask-jobqueue config reset at the same time as the distributed one is reset? Does this need a fix in distributed?

Going further, I have another question of understanding (also expressed here): why do we need the loop fixture? I don't see other Dask cluster deploying system using it. Is this still necessary with SpecCluster?

cc @graingert @jacobtomlinson.

Ngôn ngữ chính
Python
Star
256
Fork
149
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của dask/dask-jobqueue

Tất cả issue của dask/dask-jobqueue

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.