WAGED Instance Capacity NPE prevents topstate handoff during rebalance failures
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- java
- Área
- distributed-systems
Línea de trabajo
Empieza rastreando bestPossibleCalcStage de WAGED durante los fallos de rebalanceo, centrándote en cómo se comprueba la asignación previa más adecuada contra instanceCapacityMap después de eliminar una instancia. Reproduce la secuencia provocando fallos de rebalanceo que excedan la capacidad, eliminando una instancia y apagando un nodo. Se considera completado cuando los estados de las particiones siguen calculándose y se produce la transferencia de topState sin un NPE.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the bug
During rebalance failures, topState handoff will still occur among nodes that already have assigned replicas. This is because WAGED leverages the the previous best possible assignment when calculating the best possible partition state. However, if the cluster is in a state of rebalance failures and a node is removed, then WAGED will look at the previous best possible which contains an instance that is no longer in the cluster. This stale instance will trigger an NPE when we attempt to check its instance capacity as it no longer exists in the instanceCapacityMap. NPEs are part of the failure_type_to_propagate which cause the bestPossibleCalcStage to fully crash, meaning we do not calculate new states based on the previous assignment so no topState handoff will occur. This can cause a partition to go leaderless until rebalance failures are fixed and a new best possible is generated.
To Reproduce
- Trigger waged rebalance failures
a. This can be done by adding more resources than can be assigned for cluster's capacity - Remove an instance from the cluster
- Next time a node goes down, topState handoff will not occur
Expected behavior
Partition states are still calculated during rebalance failures using the old assignment so that top state handoff can still occur
- Lenguaje dominante
- Java
- Estrellas
- 505
- Forks
- 258
- Merge medio
- 4 d 20 h
- PR fusionados (30 d)
- 3
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/helix
-
Four TestConstraintBasedAlgorithm tests pass when nothing is thrownPosiblemente ocupada @sharanggupta la tomó hoy. Abierto
Dificultad 1/5 1-3 horas Aptitud para principiantes 85/100
-
Helix ZkClient times out after successful ZooKeeper SASL DIGEST-MD5 authenticationPosiblemente ocupada @adityaanikam la tomó hace 43 días. Abiertobug
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
-
NPE in canCompleteSwap if path doesn't existsPosiblemente ocupada @waterWang la tomó hace 106 días. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 50/100
-
Legacy IZkStateListenerI0ItecImpl causes zombie participants by discarding session IDsPosiblemente ocupada @LZD-PratyushBhatt la tomó hace 457 días. Abiertobug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
Todos los issues de apache/helix
Issues similares
-
bug documentation good first issue help wanted priority low size XS
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
martin-francois/symphony-trello#1351 ·
Los mantenedores suelen responder en 1 día
-
Add test coverage for ConvertUtil.parseDate() with NULL inputPosiblemente ocupada @mirajul-mollah7 la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
eclipse-sw360/sw360#4792 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
aws/aws-emulator#30 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 4 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100