Hacktoberfest 2026: die Issues, die Maintainer für den Oktober markiert haben – offen und einsteigerfreundlich. Hacktoberfest-Issues durchsuchen

Better handle failed processing jobs when terminated by cluster

Offen
  • Stimmt etwas nicht?
#289 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
35/100
Issue-Typ
Bug
Klarheit
Muss geklärt werden
Aktivitätsstatus
Veraltet
Tech-Stack
python
Bereich
backend, distributed-systems

Rechercherichtung

Es werden keine Dateien, Tests oder Einstiegspunkte genannt. Beginne damit, nachzuverfolgen, wie Reprocessing-Jobs Statusaktualisierungen erhalten und wie die Beendigung eines Clusters dargestellt wird; fertig ist die Änderung, wenn ein bekannter Job als fehlgeschlagen markiert wird, sobald sein Cluster-Job ohne Statusaktualisierung verschwindet, statt in einem endlosen Ladezustand zu verbleiben.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Raised by Mark; this collection has a permanent spinning cog: https://ispyb.diamond.ac.uk/dc/visit/mx37593-40/id/18159036

This corresponds to a reprocessing run that combined several datasets:

Image

The log file shows it terminating in the middle of integration (I assume due to OOM errors):

...
oooooooooooooooooooooooooooooooooo.ooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
"o" => good        "%" => ok        "!" => bad rmsd
"O" => overloaded  "#" => many bad  "." => weak
"@" => abandoned
Mosaic spread: 0.413 < 0.413 < 0.413
-------------------- Spotfinding SWEEP2 --------------------
67030 spots found on 3600 images (max 1798 / bin)
              ***
            ******
           *********                       ****
         *************                  *********
*     ******************* ***          *************     ***
** *****************************   ******************** ****
************************************************************
************************************************************
************************************************************
************************************************************
1                         image                         3600
------------------- Autoindexing SWEEP2 --------------------
All possible indexing solutions:
aP  40.40  57.05  77.35 102.77  94.67 100.11
Indexing solution:
aP  40.40  57.05  77.35 102.77  94.67 100.11
-------------------- Integrating SWEEP2 --------------------

possibly we need to have a service that occasionally checks the cluster status for known reprocessing jobs, and marks it as failed if the cluster job has gone away but no status update written?

Vorherrschende Sprache
Python
Sterne
2
Forks
3
Ø Merge
1 T. 14 Std.
Gemergte PRs (30 T.)
5

Entwicklungsumgebung

  • Enthält ein Dockerfile oder eine Docker-Compose-Datei
  • Keine Pull-Request-Vorlage
  • Kein Beitragsleitfaden

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus DiamondLightSource/python-dlstbx

Alle Issues in DiamondLightSource/python-dlstbx

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.