unslothai/unsloth

How can I increase the GPU utilization while training / finetune an LLM with unsloth

Open

#3 957 ouverte le 1 févr. 2026

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (5 658 forks)batch import
help wanted

Métriques du dépôt

Stars
 (64 271 stars)
Métriques de merge PR
 (Merge moyen 3j 15h) (525 PRs mergées en 30 j)

Description

I was fine-tuning a gemma3 4b model with unsloth with a custom dataset in Colab, but when I observed the GPU utilization, it was very low. Is there a way to fully utilize it, maybe use multiple processes?

Here is the Colab notebook I am using: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_(4B).ipynb

Here is a sc I got while training: https://drive.google.com/file/d/1o3P-ORRJPACbGgOglfkbkoj1fV4VahZu/view?usp=sharing

Any help on this would be appreciated Thanks Dinusha

Guide contributeur

Direction de recherche
Recherchez des moyens d'augmenter l'utilisation du GPU lors du fine tuning avec unsloth en ajustant la taille du lot, les étapes d'accumulation de gradient, en utilisant la précision mixte (par exemple bfloat16) et en envisageant des configurations multi GPU. Consultez la documentation officielle d'unsloth pour des astuces d'optimisation des performances.
Stack technique
pythonpytorch
Domaine
machine learning
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonGPU training basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60