triton-lang/triton

[Question] Is it possible to cache the autotune output and re-use it later on ?

Aperta

#1072 aperta il 18 gen 2023

Vedi su GitHubGuida contributor
 (7 commenti) (2 reazioni) (0 assegnatari)MLIR (3136 fork)github user discovery
help wanted

Metriche repository

Star
 (19.995 stelle)
Metriche merge PR
 (Merge medio 2g 18h) (185 PR mergiate in 30 g)

Descrizione

Dear OpenAI Triton Team,

Here is my use case. I am deploying models and the more requests they get, the faster they become. After a large number of requests, it seems the auto-tune converges.

I wonder if that state can be cached and re-used when restarting the server ?

Best, T.C

Guida contributor

Direzione di ricerca
Indaga se l'output di autotune di Triton può essere serializzato e ricaricato. Cerca eventuali meccanismi di caching esistenti nel codebase e considera l'implementazione di una funzionalità per salvare/caricare la configurazione migliore. Controlla discussioni e PR correlate.
Tech stack
pythonccpp
Dominio
backendperformance
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonCUDA
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60