Request for Fair State Transition Scheduling Across Multiple Resources
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- java
- Ambito
- distributed-systems
Direzione di ricerca
Inizia tracciando come vengono pianificati i messaggi di transizione dello stato in modalità CUSTOMIZED e riproduci lo scenario di starvation di TableA/TableB con un batch ampio di modifiche a IdealState. Il lavoro sarà completo quando sarà stato definito e dimostrato un approccio alla pianificazione che consenta a entrambe le risorse di avanzare equamente senza richiedere WAGED.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Is your feature request related to a problem? Please describe.
We use CUSTOMIZED mode and today there does not seem to be any fairness in terms of how the Helix state transition messages are sent out to the cluster across different resources.
For example, say I have two resources, TableA and TableB that share the same instances. If I update TableA with a very large number of IdealState changes (say 10K), then updates to TableB land up getting queued behind TableA and no progress is made until TableA's state transitions complete.
This leads to starvation for TableB. Ideally resources should not affect each other in a Helix cluster.
Describe the solution you'd like
Ideally the Helix state transitions should be scheduled fairly across resources in a cluster to prevent the above starvation scenario.
Additional context
I know WAGED solves some of these problems, but moving to WAGED is not an option for us. Are ther any other solutions that can be leveraged?
cc @junkaixue @zpinto
- Lingua principale
- Java
- Stelle
- 505
- Fork
- 258
- Merge medio
- 4g 20h
- PR unite (30g)
- 3
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/helix
-
Four TestConstraintBasedAlgorithm tests pass when nothing is thrownForse già presa @sharanggupta l’ha presa oggi. Aperta
Difficoltà 1/5 1-3 ore Idoneità per principianti 85/100
-
Helix ZkClient times out after successful ZooKeeper SASL DIGEST-MD5 authenticationForse già presa @adityaanikam l’ha presa 43 giorni fa. Apertabug
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
-
NPE in canCompleteSwap if path doesn't existsForse già presa @waterWang l’ha presa 106 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 50/100
-
Legacy IZkStateListenerI0ItecImpl causes zombie participants by discarding session IDsForse già presa @LZD-PratyushBhatt l’ha presa 457 giorni fa. Apertabug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
Tutte le issue di apache/helix
Issue simili
-
bug documentation good first issue help wanted priority low size XS
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
martin-francois/symphony-trello#1351 ·
I maintainer di solito rispondono entro 1 giorno
-
Add test coverage for ConvertUtil.parseDate() with NULL inputForse già presa @mirajul-mollah7 l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
eclipse-sw360/sw360#4792 · 1 commento ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
aws/aws-emulator#30 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 4 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100