unslothai/unsloth

How can I increase the GPU utilization while training / finetune an LLM with unsloth

Open

#3.957 geöffnet am 1. Feb. 2026

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (5.658 Forks)batch import
help wanted

Repository-Metriken

Stars
 (64.271 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 3T 15h) (525 gemergte PRs in 30 T)

Beschreibung

I was fine-tuning a gemma3 4b model with unsloth with a custom dataset in Colab, but when I observed the GPU utilization, it was very low. Is there a way to fully utilize it, maybe use multiple processes?

Here is the Colab notebook I am using: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_(4B).ipynb

Here is a sc I got while training: https://drive.google.com/file/d/1o3P-ORRJPACbGgOglfkbkoj1fV4VahZu/view?usp=sharing

Any help on this would be appreciated Thanks Dinusha

Contributor Guide

Research-Richtung
Untersuchen Sie Möglichkeiten zur Erhöhung der GPU Auslastung während des Fine Tunings mit unsloth durch Anpassen der Batch Größe, der Gradientenakkumulationsschritte, der Verwendung gemischter Präzision (z. B. bfloat16) und der Berücksichtigung von Multi GPU Setups. Lesen Sie die offizielle unsloth Dokumentation für Leistungsoptimierungstipps.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonGPU training basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60