unslothai/unsloth

[Bug] Tool_Calling does not work properly

Open

#3092 aperta il 5 ago 2025

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
help wanted

Metriche repository

Star
 (64.271 star)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

I followed this notebook: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen2.5_Coder_(1.5B)-Tool_Calling.ipynb

Can I only use qwen for tool calling? When I use llama 3.2 1B, when executing the Function for Generation Constraint, I get NotImplementedError: Tokenizer not supported: PreTrainedTokenizerFast

When using phi-4-mini, I get ValueError: The following model_kwargs are not used by the model: ['num_logits_to_keep'] (note: types in the generate arguments will also be displayed in this list).

How can I make it run smoothly?

Guida contributor

Direzione di ricerca
Indaga l'errore per Llama 3.2 1B: il tokenizer non è supportato. Controlla la mappatura dei tokenizer di unsloth e aggiungi il supporto per PreTrainedTokenizerFast. Per phi 4 mini, l'errore riguarda model kwargs inutilizzati; assicurati che generate() non passi argomenti non supportati. Confronta con il notebook Qwen2.5 per identificare le differenze.
Tech stack
python
Dominio
backendmachine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonBasic knowledge of LLMs
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50