Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Better handle failed processing jobs when terminated by cluster

Đang mở
  • Có gì không ổn?
#289 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
backend, distributed-systems

Hướng nghiên cứu

Không có tệp, kiểm thử hay entry point nào được nêu tên. Hãy bắt đầu bằng cách lần theo cách các job xử lý lại nhận cập nhật trạng thái và cách việc chấm dứt cluster được biểu diễn; hoàn tất khi một job đã biết được đánh dấu là thất bại lúc job của nó trong cluster biến mất mà không có cập nhật trạng thái, thay vì tiếp tục ở trạng thái đang quay.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Raised by Mark; this collection has a permanent spinning cog: https://ispyb.diamond.ac.uk/dc/visit/mx37593-40/id/18159036

This corresponds to a reprocessing run that combined several datasets:

Image

The log file shows it terminating in the middle of integration (I assume due to OOM errors):

...
oooooooooooooooooooooooooooooooooo.ooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
"o" => good        "%" => ok        "!" => bad rmsd
"O" => overloaded  "#" => many bad  "." => weak
"@" => abandoned
Mosaic spread: 0.413 < 0.413 < 0.413
-------------------- Spotfinding SWEEP2 --------------------
67030 spots found on 3600 images (max 1798 / bin)
              ***
            ******
           *********                       ****
         *************                  *********
*     ******************* ***          *************     ***
** *****************************   ******************** ****
************************************************************
************************************************************
************************************************************
************************************************************
1                         image                         3600
------------------- Autoindexing SWEEP2 --------------------
All possible indexing solutions:
aP  40.40  57.05  77.35 102.77  94.67 100.11
Indexing solution:
aP  40.40  57.05  77.35 102.77  94.67 100.11
-------------------- Integrating SWEEP2 --------------------

possibly we need to have a service that occasionally checks the cluster status for known reprocessing jobs, and marks it as failed if the cluster job has gone away but no status update written?

Ngôn ngữ chính
Python
Star
2
Fork
3
Merge trung bình
1 ngày 14 giờ
Pull request đã merge (30 ngày)
5

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của DiamondLightSource/python-dlstbx

Tất cả issue của DiamondLightSource/python-dlstbx

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.