How to use gpu to accelerate inference?
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning, performance
Direzione di ricerca
Start by reviewing the repository's howtouse instructions and the deployment setup described in the issue. Check how inference selects a device and whether GPU use can be verified in that setup; done means providing confirmed GPU-accelerated inference steps or identifying why the documented deployment remains on the CPU.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
How to use gpu to accelerate inference? I deployed it exactly according to howtouse on GitHub, but it was still very slow and did not use gpu for inference
- Lingua principale
- Python
- Stelle
- 5.2k
- Fork
- 420
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di salesforce/CodeGen
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
salesforce/CodeGen#107 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
salesforce/CodeGen#104 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
salesforce/CodeGen#101 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 48/100
salesforce/CodeGen#95 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
salesforce/CodeGen#94 · 8 commenti ·
Tutte le issue di salesforce/CodeGen
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
browser-use/browser-use#5905 ·
-
type: enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ynput/ayon-python-api#363 ·
-
bug needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
modelscope/FunASR#3728 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
open-compass/opencompass#2655 ·