Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

Evaluation: Tracking overall latency

Aberta
  • Algo errado?
#1,041 0 comentários 0 reações 1 responsável Ver no GitHub

Mantenedores costumam responder em até 2 dias

@AkhileshNegi já está trabalhando nisso.

Desde 10/7/2026.

Avaliação

Esta issue ainda não foi avaliada.

Descrição

Is your feature request related to a problem?
We lack visibility on the overall evaluation process latency, which affects our ability to identify bottlenecks and optimize performance.

Describe the solution you'd like

  • Track overall evaluation latency
  • Breakdown latency for cosine score and LLM judge score
  • Identify latency added by kaapi
  • Explore scope for improvement in latency
Original issue

Tracking below for fast evals (observability)

  • Tracking Evals overall latency
  • Breakup for latency for cosine score, latency for llm judge score
  • Latency added by kaapi ?

Basis above, explore scope for improvement on the latency

Linguagem predominante
Python
Estrelas
18
Forks
10
Merge médio
3d 20h
PRs com merge (30d)
14

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de ProjectTech4DevAI/kaapi-backend

Todas as issues de ProjectTech4DevAI/kaapi-backend

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.