Idle CU sweep cannot reclaim a computing unit whose execution is stuck in a non-terminal state
Los mantenedores suelen responder en 1 día
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 38/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- kubernetes, scala
- Área
- backend, infrastructure
Línea de trabajo
Start with ComputingUnitHelpers.reconcileVanishedKubernetesUnits and the idle Kubernetes computing unit sweep, then trace how workflow_executions status and last_update_time are used. Compare the existing listing-triggered reconciliation with the proposed scheduled pod-state check. Done means a live pod with a stale non-terminal execution no longer keeps an idle computing unit unreclaimed.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Feature Summary
Follow-up to #6046.
Problem
The idle Kubernetes computing unit sweep treats a computing unit as busy whenever any of its
workflow_executions rows carries a non-terminal status code (status NOT IN (3, 4, 5)). That
test has no time bound, so an execution row left stuck in a non-terminal state keeps its computing unit off the sweep indefinitely, even though the unit is doing no work.
But the problem is, nothing else reclaims it either: ComputingUnitHelpers.reconcileVanishedKubernetesUnits only
runs when someone calls a listing endpoint, and it only checks whether the pod is already gone,
not whether the execution row is stuck somewhere. A live pod with a stuck row is missed on both paths.
maptoStatusCode also maps UNKNOWN (and TERMINATED) to -1, which is not in {3,4,5}. A row whose final status is -1 pins its unit off the sweep permanently. Fixing that means changing the codes amber writes, not this sweep's predicate.
Proposed Solution or Design
- Ignore a non-terminal execution row whose
last_update_timeis older than its own timeout. - Check execution status codes against actual pod state on a schedule, rather than only on a
listing request.
Either is a larger change than #6046 should carry, hence this follow-up.
Affected Area
No response
- Lenguaje dominante
- Scala
- Estrellas
- 322
- Forks
- 195
- Merge medio
- 2 d 14 h
- PR fusionados (30 d)
- 136
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/texera
-
Search bar autocomplete stops working after a model appears in the suggestionsPosiblemente ocupada @aglinxinyuan la tomó hace 22 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/texera#8700 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
apache/texera#8682 · 5 comentarios ·
Los mantenedores suelen responder en 1 día
-
JSONL File Scan reads a JSON null as the text "null"Posiblemente ocupada @CaroFernando la tomó hace 19 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
apache/texera#8674 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
LARGE_BINARY test leaves a real S3 object behind on every S3-reachable runPosiblemente ocupada @ShawnGarello la tomó hace 4 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
Missing workflow returns 500 from workflow type endpointQuizá libre de nuevo @VuMartin la tomó hace 44 días y no hay ningún pull request abierto. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
apache/texera#8300 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
Todos los issues de apache/texera
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 1/5 1-3 horas Aptitud para principiantes 83/100
apache/datafusion-comet#7101 ·
Los mantenedores suelen responder en 1 día
-
scope:security type:aquasec
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
AbsaOSS/atum-service#494 ·
-
Send camera_pitch and camera_roll to the AI API so validator crops can be tilt-correctedPosiblemente ocupada @jonfroehlich la tomó hace 1 día. AbiertoAI Auto-validate
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
ProjectSidewalk/SidewalkWebpage#5788 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
A-network C-bug S-ready-for-human
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
ergoplatform/ergo#2741 · 1 comentario ·
Los mantenedores suelen responder en 1 día