facebookresearch/fairseq

Is there any plans to support torch.export?

Open

#5519 aperta il 5 lug 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hello.

Is there any plans to support torch.export? It would be awesome for developers who wants compilation of fairseq for backends or their deep learning accelerators.

The code would be like below.

from fairseq.models import FairseqEncoderDecoderModel
import torch

translator= FairseqEncoderDecoderModel.from_pretrained(
    # ..
)
example_inputs = translator.dummy_inputs

with torch.no_grad():
    ep = torch.export.export(translator_model, example_inputs)

Guida contributor

Direzione di ricerca
Indagare se fairseq abbia attualmente meccanismi di esportazione (es. ONNX, TorchScript) e valutare la compatibilità con torch.export. Esaminare la classe FairseqEncoderDecoderModel in fairseq/models per comprendere l'architettura del modello e il metodo dummy inputs. Controllare la documentazione di PyTorch torch.export per i vincoli su forme dinamiche e flusso di controllo. Cercare nel repository fairseq eventuali PR aperti o discussioni relative all'esportazione o alla compilazione. Fornire una proposta concreta per integrare torch.export, notando le potenziali sfide con i modelli sequenza a sequenza di fairseq.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Poco chiara
Prerequisiti
PythonPyTorchfairseq model internalstorch.export API
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20