facebookresearch/fairseq

Is there any plans to support torch.export?

Open

#5.519 geöffnet am 5. Juli 2024

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (6.224 Forks)batch import
enhancementhelp wantedneeds triage

Repository-Metriken

Stars
 (29.107 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Hello.

Is there any plans to support torch.export? It would be awesome for developers who wants compilation of fairseq for backends or their deep learning accelerators.

The code would be like below.

from fairseq.models import FairseqEncoderDecoderModel
import torch

translator= FairseqEncoderDecoderModel.from_pretrained(
    # ..
)
example_inputs = translator.dummy_inputs

with torch.no_grad():
    ep = torch.export.export(translator_model, example_inputs)

Contributor Guide

Research-Richtung
Untersuchen, ob fairseq derzeit einen Exportmechanismus (z. B. ONNX, TorchScript) hat und die Kompatibilität mit torch.export bewerten. Die Klasse FairseqEncoderDecoderModel in fairseq/models überprüfen, um die Modellarchitektur und die dummy inputs Methode zu verstehen. Die PyTorch torch.export Dokumentation auf Einschränkungen bei dynamischen Formen und Kontrollfluss prüfen. Das fairseq Repository nach offenen PRs oder Diskussionen im Zusammenhang mit Export oder Kompilierung durchsuchen. Einen konkreten Vorschlag zur Integration von torch.export liefern und dabei potenzielle Herausforderungen mit den Sequenz zu Sequenz Modellen von fairseq beachten.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Über 1 Woche
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Unklar
Voraussetzungen
PythonPyTorchfairseq model internalstorch.export API
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20