ggml-org/whisper.cpp

Should we use process time for benchmarks/timings?

Aberta

#382 aberto em 7 de jan. de 2023

Ver no GitHubGuia do colaborador
 (2 comentários) (0 reação) (0 responsável)C++ (6.074 forks)batch import
enhancementgood first issue

Métricas do repositório

Stars
 (52.968 estrelas)
Métricas de merge de PR
 (Mesclagem média 5d 20h) (36 fundiu PRs em 30d)

Description

Currently, the bench tool simply spits out the timings from whisper_print_timings. These timings are not process specific and as such are influenced by other processes on the system.

Should we use something like CLOCK_PROCESS_CPUTIME_ID instead of CLOCK_MONOTONIC in ggml_time_*? This would make the benchmarks in #89 outdated, but would make future benchmarks more realistic.

Guia do colaborador

Direção de pesquisa
Investigue o uso atual de CLOCK MONOTONIC nas funções ggml time * e compare com CLOCK PROCESS CPUTIME ID para avaliar o impacto na precisão dos benchmarks. Considere a compatibilidade de plataforma e segurança de thread.
Pilha de tecnologia
cpp
Domain
performance
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
None
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75