Better handle failed processing jobs when terminated by cluster
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
- Type d'issue
- Bug
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- backend, distributed-systems
Piste de recherche
Aucun fichier, test ou point d’entrée n’est nommé. Commencez par suivre la manière dont les tâches de retraitement reçoivent les mises à jour d’état et dont l’arrêt du cluster est représenté ; le travail est terminé lorsqu’une tâche connue est marquée comme ayant échoué lorsque sa tâche de cluster disparaît sans mise à jour d’état, au lieu de rester dans un état de chargement perpétuel.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Raised by Mark; this collection has a permanent spinning cog: https://ispyb.diamond.ac.uk/dc/visit/mx37593-40/id/18159036
This corresponds to a reprocessing run that combined several datasets:
The log file shows it terminating in the middle of integration (I assume due to OOM errors):
...
oooooooooooooooooooooooooooooooooo.ooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
"o" => good "%" => ok "!" => bad rmsd
"O" => overloaded "#" => many bad "." => weak
"@" => abandoned
Mosaic spread: 0.413 < 0.413 < 0.413
-------------------- Spotfinding SWEEP2 --------------------
67030 spots found on 3600 images (max 1798 / bin)
***
******
********* ****
************* *********
* ******************* *** ************* ***
** ***************************** ******************** ****
************************************************************
************************************************************
************************************************************
************************************************************
1 image 3600
------------------- Autoindexing SWEEP2 --------------------
All possible indexing solutions:
aP 40.40 57.05 77.35 102.77 94.67 100.11
Indexing solution:
aP 40.40 57.05 77.35 102.77 94.67 100.11
-------------------- Integrating SWEEP2 --------------------
possibly we need to have a service that occasionally checks the cluster status for known reprocessing jobs, and marks it as failed if the cluster job has gone away but no status update written?
- Langage dominant
- Python
- Étoiles
- 2
- Forks
- 3
- Merge moyen
- 1 j 14 h
- PR mergées (30 j)
- 5
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Aucun modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de DiamondLightSource/python-dlstbx
-
Difficulté 3/5 1-2 jours Accessibilité débutants 65/100
-
Allow dc_sim to run in stagingOuverte
Difficulté 4/5 3-5 jours Accessibilité débutants 52/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
DiamondLightSource/python-dlstbx#322 · 1 commentaire ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 42/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 42/100
DiamondLightSource/python-dlstbx#255 · 4 commentaires ·
Toutes les issues de DiamondLightSource/python-dlstbx
Issues similaires
-
Broken links found in docsOuvertedocs pydanty:is-working
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
pydantic/pydantic-ai#10113 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
GreedyBear-Project/GreedyBear#1727 ·
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
ARM-software/CMSIS-DSP#354 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
kiat/codeAssist#391 ·
-
needs triage
Difficulté 2/5 1-3 heures Accessibilité débutants 83/100
darnitdevorg/darnit#587 ·
Les mainteneurs répondent en général sous 1 jour