Very slow training
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 20/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning, performance
Direzione di ricerca
Non sono indicati file, test o punti di ingresso. Inizia riproducendo l'addestramento sul dataset DGL del grafo da 5K descritto e profilando il lavoro della CPU rispetto all'utilizzo della GPU; il lavoro è completato quando viene identificato uno specifico collo di bottiglia della CPU e viene dimostrato un addestramento più veloce, oppure viene documentato chiaramente il passaggio limitante.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I am training graphormer-slim on a custom dataset with 5K graphs and the loss is coming down nicely. However, the GPU utilization is close to zero while the CPU processes (16) are very busy, which means that the CPU is the bottleneck and I could be training much faster...
Is there anyway to make the CPU side faster?
details:
graphs in DGL format
50-100 nodes per graph
1-3 edges per node
- Lingua principale
- Python
- Stelle
- 2.5k
- Fork
- 374
- Merge medio
- 14h 51m
- PR unite (30g)
- 3
Preparare l'ambiente
Non abbiamo ancora controllato i file di configurazione di questo progetto. Parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/Graphormer
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
microsoft/Graphormer#211 ·
-
SAS updataAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
microsoft/Graphormer#210 ·
-
Interpolation between statesAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
microsoft/Graphormer#208 ·
-
CUDA out of memoryAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100
microsoft/Graphormer#207 · 1 commento ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
microsoft/Graphormer#205 ·
Tutte le issue di microsoft/Graphormer
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-2 giorni Idoneità per principianti 70/100
-
FingerprintSplitter raises ZeroDivisionError when int(frac_train * len(dataset)) floors to zeroAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 7 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
lmstudio-ai/mlx-engine#376 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
pyiron/bagofholding#166 ·