[Feature]: Add various metrics to routing returns.
Maintainer antworten meist innerhalb von 5 Tagen
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 35/100
Rechercherichtung
Es wird keine Datei, kein Test und kein Einstiegspunkt genannt. Beginne damit, nachzuverfolgen, wie Anfragen abgeschlossen werden und wie der ausgewählte Knoten im Rückgabewert dargestellt wird; kläre mit den Maintainer:innen die erwartete Form der Antwort und den Pfad der Protokollierung. Erledigt ist die Aufgabe, wenn der für eine Anfrage verwendete Knoten den Aufrufern zur Protokollierung zur Verfügung steht, ohne bestehende Konsumenten zu beeinträchtigen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Area
Desktop experience
User problem
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Desired outcome
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Alternatives considered
A method to tie Nvidia Pair to log all calls including which node was used for Prompt logging.
Compatibility and security implications
No response
Validation approach
No response
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- Vorherrschende Sprache
- Go
- Sterne
- 1.6k
- Forks
- 266
- Ø Merge
- 3 T. 6 Std.
- Gemergte PRs (30 T.)
- 22
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus NVIDIA/Personal-AI-Router
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
NVIDIA/Personal-AI-Router#165 ·
Maintainer antworten meist innerhalb von 5 Tagen
-
bug
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 46/100
NVIDIA/Personal-AI-Router#164 ·
Maintainer antworten meist innerhalb von 5 Tagen
-
enhancement
Schwierigkeit 4/5 Über eine Woche Anfängerfreundlichkeit 12/100
NVIDIA/Personal-AI-Router#162 ·
Maintainer antworten meist innerhalb von 5 Tagen
-
enhancement
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
NVIDIA/Personal-AI-Router#154 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 5 Tagen
-
[Feature]: [Ollama] Alert the user about model pull failuresEvtl. vergeben @ckelseynv hat das vor 3 Tagen übernommen. Offenenhancement
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 56/100
NVIDIA/Personal-AI-Router#152 · 1 Kommentar · 1 zugewiesene Person ·
Maintainer antworten meist innerhalb von 5 Tagen
Alle Issues in NVIDIA/Personal-AI-Router
Ähnliche Issues
-
agent-review-finding bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
jordansmall/spindrift#5281 ·
Maintainer antworten meist innerhalb von 1 Tag
-
unbounded value for n in `/v1/logs` can panic/OOMEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offensmall item
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
canonical/pebble#1127 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
[schema-coverage] elasticstack_elasticsearch_synonym_set (data source)Evtl. vergeben @github-actions hat das heute übernommen. Offenacceptance-tests phase-coding schema-coverage testing triaged
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 81/100
elastic/terraform-provider-elasticstack#5211 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 89/100
open-policy-agent/opa#9366 · 1 Reaktion ·
Maintainer antworten meist innerhalb von 1 Tag
-
defect
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
nats-io/nats-server#8752 ·
Maintainer antworten meist innerhalb von 1 Tag