unslothai/unsloth

[Bug] Tool_Calling does not work properly

Open

#3 092 ouverte le 5 août 2025

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Python (5 658 forks)batch import
help wanted

Métriques du dépôt

Stars
 (64 271 stars)
Métriques de merge PR
 (Merge moyen 3j 15h) (525 PRs mergées en 30 j)

Description

I followed this notebook: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen2.5_Coder_(1.5B)-Tool_Calling.ipynb

Can I only use qwen for tool calling? When I use llama 3.2 1B, when executing the Function for Generation Constraint, I get NotImplementedError: Tokenizer not supported: PreTrainedTokenizerFast

When using phi-4-mini, I get ValueError: The following model_kwargs are not used by the model: ['num_logits_to_keep'] (note: types in the generate arguments will also be displayed in this list).

How can I make it run smoothly?

Guide contributeur

Direction de recherche
Enquêtez sur l'erreur pour Llama 3.2 1B : le tokenizer n'est pas pris en charge. Vérifiez le mappage des tokenizers d'unsloth et ajoutez la prise en charge de PreTrainedTokenizerFast. Pour phi 4 mini, l'erreur concerne des model kwargs inutilisés ; assurez vous que generate() ne transmet pas d'arguments non pris en charge. Comparez avec le notebook Qwen2.5 pour identifier les différences.
Stack technique
python
Domaine
backendmachine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonBasic knowledge of LLMs
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50