Eagerly computing results limits potential for optimization
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Refactoring
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- data-engineering
Direzione di ricerca
Non sono indicati file o test. Inizia tracciando l’esempio .head() e il comportamento di compute=True/compute=False descritti nell’issue. Il lavoro è completato quando l’eager computation viene ridotta come proposto, la proiezione può essere spostata prima della selezione di head e la modifica del valore predefinito viene gestita tramite il percorso di deprecazione indicato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
By eagerly computing, e.g., when calling .head(), we limit the potential for optimizations. For example, it shouldn't matter whether I call df.head(n)[["a", "b"]] or df[["a", "b"]].head(n). With eager computations, we lose the opportunity to push the column projection before the head selection.
Apart from that, in my opinion that eager computation comes as a surprise and makes it harder to argue about when Dask actually computes things.
Proposed solution(s)
In general, limit eager computation as much as possible. For this particular example: Deprecate compute=True as default and switch to compute=False in the future.
- Lingua principale
- Python
- Stelle
- 89
- Fork
- 26
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di dask/dask-expr
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
Tutte le issue di dask/dask-expr
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
aws-samples/sample-per-model-bedrock#243 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
FuRongJun-1999/dsh-memory#404 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
bug frontend
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
PennyLaneAI/catalyst#3337 ·
I maintainer di solito rispondono entro 1 giorno
-
Workflow.schedule stops when a cron deadline passes before sleepForse già presa @HuaTNA l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno