unslothai/unsloth

[Bug] Tool_Calling does not work properly

Open

#3.092 geöffnet am 5. Aug. 2025

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (5.658 Forks)batch import
help wanted

Repository-Metriken

Stars
 (64.271 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 3T 15h) (525 gemergte PRs in 30 T)

Beschreibung

I followed this notebook: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen2.5_Coder_(1.5B)-Tool_Calling.ipynb

Can I only use qwen for tool calling? When I use llama 3.2 1B, when executing the Function for Generation Constraint, I get NotImplementedError: Tokenizer not supported: PreTrainedTokenizerFast

When using phi-4-mini, I get ValueError: The following model_kwargs are not used by the model: ['num_logits_to_keep'] (note: types in the generate arguments will also be displayed in this list).

How can I make it run smoothly?

Contributor Guide

Research-Richtung
Untersuchen Sie den Fehler für Llama 3.2 1B: Der Tokenizer wird nicht unterstützt. Überprüfen Sie die Tokenizer Zuordnung von unsloth und fügen Sie Unterstützung für PreTrainedTokenizerFast hinzu. Für phi 4 mini betrifft der Fehler nicht verwendete model kwargs; stellen Sie sicher, dass generate() keine nicht unterstützten Argumente übergibt. Vergleichen Sie mit dem Qwen2.5 Notebook, um Unterschiede zu identifizieren.
Tech Stack
python
Domain
backendmachine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonBasic knowledge of LLMs
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50