pytorch/serve

Accelerated preprocessing

Open

#1.546 geöffnet am 1. Apr. 2022

Auf GitHub ansehen
 (1 Kommentar) (3 Reaktionen) (0 zugewiesene Personen)Java (3.844 Stars) (790 Forks)batch import
enhancementhelp wanted

Beschreibung

This recent PR by @min-jean-cho https://github.com/pytorch/serve/pull/1545 has made me realize how much performance we're leaving on the table when it comes to acceleration of preprocessing operations. We could more easily support more torchvision backends, faster tokenizers and add more hardware specific configurations to make it for developers to pick and choose.

This will also help our #1457 efforts since there we'd only considered so far performance of torchserve and inference()

  • Accelerated decoding
  • Accelerated preprocessing ops
  • Graph mode accelerated processing ops - like DALI

Contributor Guide

Tech Stack
python
Domain
performancemachine learning
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 days
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
mostly clear
Voraussetzungen
Basic knowledge of PyTorch ServePython programmingFamiliarity with torchvision
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40
Research-Richtung
Review the linked PR #1545 for acceleration ideas. Investigate the current preprocessing pipeline in PyTorch Serve, focusing on image and text preprocessing. Consider integrating torchvision's acceleration features and hardware specific optimizations. Examine existing code in the `serve/` directory for potential entry points to implement accelerated decoding and preprocessing ops.