facebookresearch/fairseq

Is there any plans to support torch.export?

Open

#5 519 ouverte le 5 juil. 2024

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (6 224 forks)batch import
enhancementhelp wantedneeds triage

Métriques du dépôt

Stars
 (29 107 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Hello.

Is there any plans to support torch.export? It would be awesome for developers who wants compilation of fairseq for backends or their deep learning accelerators.

The code would be like below.

from fairseq.models import FairseqEncoderDecoderModel
import torch

translator= FairseqEncoderDecoderModel.from_pretrained(
    # ..
)
example_inputs = translator.dummy_inputs

with torch.no_grad():
    ep = torch.export.export(translator_model, example_inputs)

Guide contributeur

Direction de recherche
Étudier si fairseq dispose actuellement d'un mécanisme d'exportation (par exemple ONNX, TorchScript) et évaluer la compatibilité avec torch.export. Examiner la classe FairseqEncoderDecoderModel dans fairseq/models pour comprendre l'architecture du modèle et la méthode dummy inputs. Consulter la documentation de PyTorch torch.export pour les contraintes sur les formes dynamiques et le flux de contrôle. Rechercher dans le dépôt fairseq toute PR ouverte ou discussion liée à l'exportation ou à la compilation. Fournir une proposition concrète pour intégrer torch.export, en notant les défis potentiels avec les modèles séquence à séquence de fairseq.
Stack technique
pythonpytorch
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Peu claire
Prérequis
PythonPyTorchfairseq model internalstorch.export API
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
20