[Feature]: Add various metrics to routing returns.
Mantenedores costumam responder em até 5 dias
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
Direção de pesquisa
Nenhum arquivo, teste ou ponto de entrada é especificado. Comece rastreando como as solicitações são concluídas e como o nó selecionado é representado no valor de retorno; esclareça com os maintainers o formato esperado da resposta e o caminho de logging. A tarefa estará concluída quando o nó usado para uma solicitação estiver disponível para os chamadores fazerem logging sem quebrar os consumidores existentes.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Area
Desktop experience
User problem
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Desired outcome
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Alternatives considered
A method to tie Nvidia Pair to log all calls including which node was used for Prompt logging.
Compatibility and security implications
No response
Validation approach
No response
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- Linguagem predominante
- Go
- Estrelas
- 1.6k
- Forks
- 266
- Merge médio
- 3d 6h
- PRs com merge (30d)
- 22
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de NVIDIA/Personal-AI-Router
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
NVIDIA/Personal-AI-Router#165 ·
Mantenedores costumam responder em até 5 dias
-
bug
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 46/100
NVIDIA/Personal-AI-Router#164 ·
Mantenedores costumam responder em até 5 dias
-
enhancement
Dificuldade 4/5 Mais de uma semana Facilidade para iniciantes 12/100
NVIDIA/Personal-AI-Router#162 ·
Mantenedores costumam responder em até 5 dias
-
enhancement
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
NVIDIA/Personal-AI-Router#154 · 1 comentário ·
Mantenedores costumam responder em até 5 dias
-
[Feature]: [Ollama] Alert the user about model pull failuresTalvez já em andamento @ckelseynv assumiu há 4 dias. Abertaenhancement
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 56/100
NVIDIA/Personal-AI-Router#152 · 1 comentário · 1 responsável ·
Mantenedores costumam responder em até 5 dias
Todas as issues de NVIDIA/Personal-AI-Router
Issues semelhantes
-
component/gpu-kubelet-plugin component/helm needs-triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
kubernetes-sigs/dra-driver-nvidia-gpu#1559 ·
Mantenedores costumam responder em até 1 dia
-
TOTP enrollment returns 500 for phone-only users (empty TOTP account name)Talvez já em andamento @emiliosandoval4 assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 60/100
Mantenedores costumam responder em até 1 dia
-
8.9 to 8.10 Helm upgrade guide still says deprecated keys are removed in chart v16 (Camunda 8.11)Aberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 78/100
camunda/camunda-platform-helm#7559 ·
Mantenedores costumam responder em até 1 dia
-
docs: namespaceRegexes example teaches prefix matching, but regexes are matched as a substringTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Abertatriage/pending-triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
external-secrets/external-secrets#7117 ·
Mantenedores costumam responder em até 2 dias
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
ENTERPILOT/GoModel#1183 · 1 comentário ·
Mantenedores costumam responder em até 1 dia