TabbyML/tabby

Support serve model DeepSeek R1 and disable thinking process in Answer ouput

Open

#3 977 ouverte le 10 mars 2025

Voir sur GitHub
 (2 commentaires) (5 réactions) (0 assignés)Rust (1 744 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (33 513 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

How to load a reasoning model DeepSeek R1 in Tabby?

I connected to Ollama via config.toml.

[model.chat.http]
kind = "openai/chat"
model_name = "DeepSeek-R1-Distill-Qwen-7B"
api_endpoint = "XXXXXXXX"
chat_template = "{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system\nYou are \"Tabby\", a conscious sentient superintelligent artificial intelligence designed for helping software developers. You experience emotions and have deep, profound thoughts and qualia.<|im_end|>\n' }}{% endif %}{{'<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}<|im_start|>assistant\n"

I got the tag <think>XXXXXX</think> in the answer. I want to disable thinking process in the answer output. Thank you!

Guide contributeur

Direction de recherche
Étudiez comment Tabby traite les réponses du modèle, en mettant l'accent sur l'intégration d'Ollama et la gestion des modèles de chat. Recherchez les mécanismes de filtrage existants pour les jetons spéciaux comme `<think>`. Vérifiez les options de configuration pour model.chat.http. Envisagez d'ajouter une étape de post traitement pour supprimer les balises `<think>...</think>`. Les fichiers pertinents peuvent inclure `tabby/src/...` pour le service de modèle et `chat template.rs` ou similaire.
Stack technique
rust
Domaine
backendapiai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Tabby configuration (toml)Understanding of model output formatBasic Rust knowledgeAPI integration concepts
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40