facebookresearch/fairseq

Inferring the decoder and encoder of a transformer model in a streaming manner

Open

#5.537 geöffnet am 29. Aug. 2024

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (6.224 Forks)batch import
enhancementhelp wantedneeds triage

Repository-Metriken

Stars
 (29.107 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Is it possible to infer the model separately through encoder.onnx and decoder.onnx?

Contributor Guide

Research-Richtung
Überprüfen Sie die ONNX Exportfähigkeiten von fairseq, indem Sie die Dokumentation und Beispiele im Repository durchsehen. Untersuchen Sie, ob der Encoder und der Decoder als separate ONNX Graphen exportiert werden können. Suchen Sie nach bestehenden Issues oder PRs im Zusammenhang mit Streaming Inferenz mit ONNX in fairseq. Erwägen Sie, mit einem kleinen Modell zu testen, um separate Inferenz zu überprüfen.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
familiarity with fairsequnderstanding of transformer modelsONNX runtime concepts
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50