[Feature]: Add various metrics to routing returns.
Les mainteneurs répondent en général sous 5 jours
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
Piste de recherche
Aucun fichier, test ou point d’entrée n’est indiqué. Commencez par suivre la manière dont les requêtes sont finalisées et la manière dont le nœud sélectionné est représenté dans la valeur de retour ; clarifiez avec les maintainers la forme attendue de la réponse et le chemin de logging. La tâche est terminée lorsque le nœud utilisé pour une requête est disponible pour les appelants à des fins de logging sans casser les consommateurs existants.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Area
Desktop experience
User problem
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Desired outcome
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Alternatives considered
A method to tie Nvidia Pair to log all calls including which node was used for Prompt logging.
Compatibility and security implications
No response
Validation approach
No response
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- Langage dominant
- Go
- Étoiles
- 1.6k
- Forks
- 266
- Merge moyen
- 3 j 6 h
- PR mergées (30 j)
- 22
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de NVIDIA/Personal-AI-Router
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
NVIDIA/Personal-AI-Router#165 ·
Les mainteneurs répondent en général sous 5 jours
-
bug
Difficulté 4/5 3-5 jours Accessibilité débutants 46/100
NVIDIA/Personal-AI-Router#164 ·
Les mainteneurs répondent en général sous 5 jours
-
enhancement
Difficulté 4/5 Plus d'une semaine Accessibilité débutants 12/100
NVIDIA/Personal-AI-Router#162 ·
Les mainteneurs répondent en général sous 5 jours
-
enhancement
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
NVIDIA/Personal-AI-Router#154 · 1 commentaire ·
Les mainteneurs répondent en général sous 5 jours
-
[Feature]: [Ollama] Alert the user about model pull failuresPeut-être pris @ckelseynv l’a pris il y a 4 jours. Ouverteenhancement
Difficulté 3/5 1-2 jours Accessibilité débutants 56/100
NVIDIA/Personal-AI-Router#152 · 1 commentaire · 1 personne assignée ·
Les mainteneurs répondent en général sous 5 jours
Toutes les issues de NVIDIA/Personal-AI-Router
Issues similaires
-
Action Required: Fix Renovate ConfigurationPeut-être pris @thompson-tomo l’a pris aujourd’hui. Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 78/100
open-telemetry/opentelemetry-collector#16170 ·
Les mainteneurs répondent en général sous 1 jour
-
automation awf compiler specifications
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
Les mainteneurs répondent en général sous 1 jour
-
state:triage-needed
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 80/100
puppe1990/amarra-cais#342 ·
Les mainteneurs répondent en général sous 1 jour
-
replay: a run cancelled during environment setup is logged as an ERROR (Instrument drops the cancellation)Peut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour