unslothai/unsloth

How can I increase the GPU utilization while training / finetune an LLM with unsloth

Open

#3957 aperta il 1 feb 2026

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
help wanted

Metriche repository

Star
 (64.271 star)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

I was fine-tuning a gemma3 4b model with unsloth with a custom dataset in Colab, but when I observed the GPU utilization, it was very low. Is there a way to fully utilize it, maybe use multiple processes?

Here is the Colab notebook I am using: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_(4B).ipynb

Here is a sc I got while training: https://drive.google.com/file/d/1o3P-ORRJPACbGgOglfkbkoj1fV4VahZu/view?usp=sharing

Any help on this would be appreciated Thanks Dinusha

Guida contributor

Direzione di ricerca
Esplora modi per aumentare l'utilizzo della GPU durante il fine tuning con unsloth regolando la dimensione del batch, i passaggi di accumulo del gradiente, utilizzando la precisione mista (es. bfloat16) e considerando configurazioni multi GPU. Controlla la documentazione ufficiale di unsloth per suggerimenti sull'ottimizzazione delle prestazioni.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonGPU training basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60