Feature request: Allow separately specifying --nthreads and resource limits
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- helm, kubernetes
- Ambito
- devops, infrastructure
Direzione di ricerca
Inizia da dask/templates/dask-worker-deployment.yaml alle righe 37-38 e verifica come il limite delle risorse del worker Kubernetes venga attualmente usato per impostare --nthreads. Definisci una configurazione separata per il conteggio dei thread e per i limiti delle risorse, assicurandoti che i limiti frazionari della CPU non diventino argomenti interi non validi per i thread. Il lavoro è completato quando è possibile configurare sia limiti di un job per nodo sia valori indipendenti di --nthreads.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I'm using Dask to coordinate some ML jobs, which have internal parallelism. I'd like to restrict my cluster so that only one job can run on a node at a time, even though nodes have multiple CPUs. However, this is currently impossible, since the Kubernetes worker resource limit is used to customize --nthreads:
https://github.com/dask/helm-chart/blob/master/dask/templates/dask-worker-deployment.yaml#L37-L38
This also prevents giving nodes e.g. 0.5 or 1.5 cpus, because even though Kubernetes allows it Dask will get confused and crash (i.e. --nthreads fails to parse as an integer.)
This is moderately esoteric so if I should just fork the chart and use that I don't mind.
- Lingua principale
- YAML
- Stelle
- 100
- Fork
- 92
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di dask/helm-chart
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
dask/helm-chart#512 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 58/100
dask/helm-chart#485 · 7 commenti · 7 reazioni ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
dask/helm-chart#445 · 4 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
dask/helm-chart#388 · 1 reazione ·
-
OverrideNames failureAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100
dask/helm-chart#385 ·
Tutte le issue di dask/helm-chart
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
NVIDIA/k8s-device-plugin#2076 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
googleapis/google-cloud-python#18532 ·
I maintainer di solito rispondono entro 1 giorno
-
agentic-workflows
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
agentic-workflows
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
I maintainer di solito rispondono entro 1 giorno
-
area/release kind/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
kubernetes-sigs/kueue#16455 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno