yl4579/StyleTTS2

h100: Worse output & 20x slower inference?

Open

#89 geöffnet am 26. Nov. 2023

Auf GitHub ansehen
 (14 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (210 Forks)batch import
help wanted

Repository-Metriken

Stars
 (3.429 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

We're testing finetuning on an h100 and 4090, here are the results:

4090: https://voca.ro/11mtxzLHzzih h100: https://voca.ro/15QldVjuG7nu

Almost identical finetune, but h100 is output is SIGNIFICANTLY worse. It isn't a config issue, and we've replicated it twice with LJSpeech as well.

4090 is also faster during training and considerably faster during inference, almost 20x faster than h100:

Screenshot_2023-11-26_at_5 01 16_PM

h100:

Screenshot_2023-11-24_at_3 46 08_PM

And during training, one epoch took the 4090 about 3 minutes, while the h100 took 4.12 minutes.

Does anyone know what could be going on here? Never seen an issue like this on an h100 before with a diffusion like model. Thanks

Contributor Guide

Research-Richtung
Vergleichen Sie die GPU Konfigurationen, CUDA Versionen und PyTorch Builds zwischen H100 und 4090. Profilen Sie die GPU Auslastung und Speicherbandbreite mit nvidia smi und dem PyTorch Profiler. Überprüfen Sie, ob das Modell Tensor Cores verwendet oder ob eine Fehlkonfiguration wie der Datentyp (FP16 vs FP32) die Verlangsamung verursacht.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30