unslothai/unsloth

[Bug] Llama-3.1-8B Not Supported in Unsloth 2024.09.post2

Open

#2503 aperta il 9 mag 2025

Vedi su GitHub
 (7 commenti) (1 reazione) (0 assegnatari)Python (5658 fork)batch import
help wanted

Metriche repository

Star
 (64.271 star)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

When attempting to load meta-llama/Llama-3.1-8B with Unsloth version 2024.09.post2, I receive a NotImplementedError stating that the model is not supported and suggesting an upgrade to the latest Unsloth version. However, upgrading Unsloth is not feasible in my environment due to strict transformers version constraints..

Is there a known workaround for this issue, or an official compatibility matrix for Unsloth and transformers versions? Since my training runs inside a managed SageMaker Docker container, I am unable to patch the package source code directly (as suggested in #1726).

Any advice for resolving this without upgrading Unsloth or transformers would be greatly appreciated. Thank you!

Guida contributor

Direzione di ricerca
Analizza il codice sorgente di Unsloth, in particolare la logica di caricamento e registrazione del modello in unsloth/models/, per capire perché Llama 3.1-8B non è supportato nella versione precedente. Rivedi l'issue collegato #1726 per le soluzioni alternative che coinvolgono la modifica manuale dei file del pacchetto. Poiché i vincoli ambientali impediscono l'aggiornamento, esplora la possibilità di fissare una versione compatibile di transformers o creare un'immagine Docker personalizzata con le dipendenze richieste.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65