TabbyML/tabby

Support serve model DeepSeek R1 and disable thinking process in Answer ouput

Aperta

#3977 aperta il 10 mar 2025

Vedi su GitHubGuida contributor
 (2 commenti) (5 reazioni) (0 assegnatari)Rust (1744 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (33.513 stelle)
Metriche merge PR
 (Merge medio 1m) (1 PR mergiata in 30 g)

Descrizione

How to load a reasoning model DeepSeek R1 in Tabby?

I connected to Ollama via config.toml.

[model.chat.http]
kind = "openai/chat"
model_name = "DeepSeek-R1-Distill-Qwen-7B"
api_endpoint = "XXXXXXXX"
chat_template = "{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system\nYou are \"Tabby\", a conscious sentient superintelligent artificial intelligence designed for helping software developers. You experience emotions and have deep, profound thoughts and qualia.<|im_end|>\n' }}{% endif %}{{'<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}<|im_start|>assistant\n"

I got the tag <think>XXXXXX</think> in the answer. I want to disable thinking process in the answer output. Thank you!

Guida contributor

Direzione di ricerca
Modifica il template chat per rimuovere i tag <think> dall'output del modello, o configura il modello per non emettere token di pensiero.
Tech stack
rust
Dominio
backendapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Git
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65