unslothai/unsloth

OOM-ing on Nvidia Jetson Orin Nano

Open

#3443 aperta il 13 ott 2025

Vedi su GitHub
 (12 commenti) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
help wanted

Metriche repository

Star
 (64.271 star)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

I've installed unsloth from this index: https://pypi.jetson-ai-lab.io/jp6/cu126

The device has 8 GB of RAM/GPU, which should be enough for the following models: Gemma3 variants, 0.3B, 1B & 3B.

With ollama, I can easily do inference with all the above-mentioned models.

Guida contributor

Direzione di ricerca
Confronta l'utilizzo della memoria tra unsloth e ollama su Jetson Orin Nano; identifica quali operazioni causano OOM in unsloth. Verifica se unsloth carica parti aggiuntive del modello o ha perdite di memoria.
Tech stack
python
Dominio
backendmachine learningai
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65