facebookresearch/fairseq

Inferring the decoder and encoder of a transformer model in a streaming manner

Open

#5537 aperta il 29 ago 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Is it possible to infer the model separately through encoder.onnx and decoder.onnx?

Guida contributor

Direzione di ricerca
Verifica le capacità di esportazione ONNX di fairseq esaminando la documentazione e gli esempi nel repository. Indaga se l'encoder e il decoder possono essere esportati come grafici ONNX separati. Cerca eventuali issue o PR esistenti relativi all'inferenza in streaming con ONNX in fairseq. Considera di testare con un modello piccolo per verificare l'inferenza separata.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
familiarity with fairsequnderstanding of transformer modelsONNX runtime concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50