unslothai/unsloth

[Bug] Llama-3.1-8B Not Supported in Unsloth 2024.09.post2

Open

#2.503 geöffnet am 9. Mai 2025

Auf GitHub ansehen
 (7 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (5.658 Forks)batch import
help wanted

Repository-Metriken

Stars
 (64.271 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 3T 15h) (525 gemergte PRs in 30 T)

Beschreibung

When attempting to load meta-llama/Llama-3.1-8B with Unsloth version 2024.09.post2, I receive a NotImplementedError stating that the model is not supported and suggesting an upgrade to the latest Unsloth version. However, upgrading Unsloth is not feasible in my environment due to strict transformers version constraints..

Is there a known workaround for this issue, or an official compatibility matrix for Unsloth and transformers versions? Since my training runs inside a managed SageMaker Docker container, I am unable to patch the package source code directly (as suggested in #1726).

Any advice for resolving this without upgrading Unsloth or transformers would be greatly appreciated. Thank you!

Contributor Guide

Research-Richtung
Untersuche den Unsloth Quellcode, insbesondere die Modellladungs und Registrierungslogik in unsloth/models/, um zu verstehen, warum Llama 3.1-8B in der älteren Version nicht unterstützt wird. Überprüfe das verknüpfte Issue #1726 für Workarounds, die manuelle Patches von Paketdateien betreffen. Da Umgebungsbeschränkungen ein Upgrade verhindern, erkunde die Möglichkeit, eine kompatible transformers Version festzupinnen oder ein benutzerdefiniertes Docker Image mit den erforderlichen Abhängigkeiten zu erstellen.
Tech Stack
python
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65