Better handle failed processing jobs when terminated by cluster
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- backend, distributed-systems
Línea de trabajo
No se nombran archivos, pruebas ni puntos de entrada. Empieza por rastrear cómo reciben actualizaciones de estado los trabajos de reprocesamiento y cómo se representa la terminación del clúster; el trabajo está terminado cuando un trabajo conocido se marca como fallido al desaparecer su trabajo del clúster sin una actualización de estado, en lugar de permanecer en un estado de carga continuo.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Raised by Mark; this collection has a permanent spinning cog: https://ispyb.diamond.ac.uk/dc/visit/mx37593-40/id/18159036
This corresponds to a reprocessing run that combined several datasets:
The log file shows it terminating in the middle of integration (I assume due to OOM errors):
...
oooooooooooooooooooooooooooooooooo.ooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
"o" => good "%" => ok "!" => bad rmsd
"O" => overloaded "#" => many bad "." => weak
"@" => abandoned
Mosaic spread: 0.413 < 0.413 < 0.413
-------------------- Spotfinding SWEEP2 --------------------
67030 spots found on 3600 images (max 1798 / bin)
***
******
********* ****
************* *********
* ******************* *** ************* ***
** ***************************** ******************** ****
************************************************************
************************************************************
************************************************************
************************************************************
1 image 3600
------------------- Autoindexing SWEEP2 --------------------
All possible indexing solutions:
aP 40.40 57.05 77.35 102.77 94.67 100.11
Indexing solution:
aP 40.40 57.05 77.35 102.77 94.67 100.11
-------------------- Integrating SWEEP2 --------------------
possibly we need to have a service that occasionally checks the cluster status for known reprocessing jobs, and marks it as failed if the cluster job has gone away but no status update written?
- Lenguaje dominante
- Python
- Estrellas
- 2
- Forks
- 3
- Merge medio
- 1 d 6 h
- PR fusionados (30 d)
- 4
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de DiamondLightSource/python-dlstbx
-
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
-
Allow dc_sim to run in stagingAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
DiamondLightSource/python-dlstbx#322 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
Todos los issues de DiamondLightSource/python-dlstbx
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
jbacalso24/mimry#291 ·
Los mantenedores suelen responder en 1 día
-
good first issue
Dificultad 2/5 Menos de una hora Aptitud para principiantes 82/100
eli-alvarado/us-watchlist-alerts#14 ·
Los mantenedores suelen responder en 1 día
-
from-review-extraction python severity:nit
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
LearningCircuit/local-deep-research#7462 ·
Los mantenedores suelen responder en 2 días
-
mermaid_extract.py silently discards single-line state-diagram notes; sequence notes are keptAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
cathrynlavery/diagram-design#441 ·
Los mantenedores suelen responder en 2 días
-
[Cleanup] Include the public header in work_split.cppPosiblemente ocupada @blozano-tt la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
tenstorrent/tt-metal#60850 ·
Los mantenedores suelen responder en 1 día