pytorch/serve

Accelerated preprocessing

Open

#1546 aperta il 1 apr 2022

Vedi su GitHub
 (1 commento) (3 reazioni) (0 assegnatari)Java (790 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (3844 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

This recent PR by @min-jean-cho https://github.com/pytorch/serve/pull/1545 has made me realize how much performance we're leaving on the table when it comes to acceleration of preprocessing operations. We could more easily support more torchvision backends, faster tokenizers and add more hardware specific configurations to make it for developers to pick and choose.

This will also help our #1457 efforts since there we'd only considered so far performance of torchserve and inference()

  • Accelerated decoding
  • Accelerated preprocessing ops
  • Graph mode accelerated processing ops - like DALI

Guida contributor

Direzione di ricerca
Rivedi la PR collegata #1545 per idee di accelerazione. Indaga l'attuale pipeline di pre elaborazione in PyTorch Serve, concentrandoti sulla pre elaborazione di immagini e testo. Considera l'integrazione delle funzionalità di accelerazione di torchvision e delle ottimizzazioni specifiche per hardware. Esamina il codice esistente nella directory `serve/` per potenziali punti di ingresso per implementare operazioni di decodifica e pre elaborazione accelerate.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60