NVIDIA-NeMo/NeMo

NGPU-LM with ONNX model inference

Open

#14.501 aperta il 18 ago 2025

Vedi su GitHub
 (0 commenti) (0 reazioni) (1 assegnatario)Python (3421 fork)github user discovery
ASRhelp wanted

Metriche repository

Star
 (17.298 star)
Metriche merge PR
 (Merge medio 12g) (49 PR mergiate in 30 g)

Descrizione

How can I perform inference with my ONNX-exported Fast-Conformer model using CTC decoding and NGPU-LM beam search?

Guida contributor

Direzione di ricerca
Cerca esempi di inferenza di modelli ONNX con decoder CTC e beam search NGPU LM in NeMo; controlla la documentazione per l'integrazione di NGPU LM con modelli ONNX; traccia il pipeline di inferenza per identificare i passaggi di configurazione.
Tech stack
python
Dominio
machine learningai
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonONNXCTC decoding
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60