Tests are too slow for libraries with eager-mode dispatch overhead
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- performance, testing
Direzione di ricerca
Inizia dal job GitHub Actions collegato e dalla suite di test array-api-tests per riprodurre l'esecuzione segnalata di 4.5-hour e verificare quali test dominano il tempo di esecuzione. L'issue non indica file sorgente né punti di ingresso dei test; il lavoro sarà completato quando il tempo dei test in eager-mode sarà sostanzialmente ridotto, preservando al contempo la copertura di compliance e i risultati della suite.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
For example this job: https://github.com/google/jax/actions/runs/6804780902/job/18502996983, which is associated with https://github.com/google/jax/pull/16099 took 4.5 hours to run about 1000 tests.
========== 567 failed, 439 passed, 116 skipped in 16419.47s (4:33:39) ==========
This is slow enough to be virtually unusable.
Is there anything I can do to speed up the tests during development of the JAX array API?
Edit: as mentioned below, this is due to the frequent use of patterns within the tests that every value in each array via indexing, and the fact that in eager execution, each of these indexing operations have a small dispatch overhead that leads to slow tests when arrays are large.
- Lingua principale
- Python
- Stelle
- 74
- Fork
- 54
- Merge medio
- 4h 35m
- PR unite (30g)
- 4
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di data-apis/array-api-tests
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 87/100
data-apis/array-api-tests#465 · 1 commento ·
-
Test reflected operators?Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
data-apis/array-api-tests#460 · 1 commento ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
data-apis/array-api-tests#455 · 2 commenti ·
-
tracking
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
data-apis/array-api-tests#381 · 9 commenti ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 38/100
data-apis/array-api-tests#379 · 10 commenti ·
Tutte le issue di data-apis/array-api-tests
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
raullenchai/Rapid-MLX#4042 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
LearningCircuit/local-deep-research#7067 ·
I maintainer di solito rispondono entro 1 giorno
-
#bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
apache/superset#44923 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
lawndoc/stack-back#123 ·