CarperAI/trlx

Add tensor padding options to improve hardware utilization

Open

#284 geöffnet am 6. Feb. 2023

Auf GitHub ansehen
 (8 Kommentare) (2 Reaktionen) (0 zugewiesene Personen)Python (450 Forks)batch import
contributions welcomefeature requestgood first issue

Repository-Metriken

Stars
 (4.184 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

🚀 The feature, motivation, and pitch

Recent discussion on Twitter highlighted the importance of tensor padding to improve hardware util. NeMo seems to already support GPU-friendly vocab size padding from discussions with @cat-state but we should also consider adding an optional pad_to_multiple_of arg to our tokenizer calls with the accelerate/transformers backend to satisfy Tensor Core requirements.

image

The implementer should also provide system plots to display any improvements/findings.

Alternatives

No response

Additional context

No response

Contributor Guide

Research-Richtung
Untersuchen Sie die Tokenizer Aufrufe in trlx, identifizieren Sie, wo pad to multiple of zu Tokenizer Aufrufen mit dem accelerate/transformers Backend hinzugefügt werden kann, und messen Sie die Verbesserungen der Hardwareauslastung anhand von Systemdiagrammen.
Tech Stack
python
Domain
machine learningaibackend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
PythonHuggingFace Transformers
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40