ggml-org/whisper.cpp

Should we use process time for benchmarks/timings?

Aperta

#382 aperta il 7 gen 2023

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (0 assegnatari)C++ (6072 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (52.942 stelle)
Metriche merge PR
 (Merge medio 5g 20h) (36 PR mergiate in 30 g)

Descrizione

Currently, the bench tool simply spits out the timings from whisper_print_timings. These timings are not process specific and as such are influenced by other processes on the system.

Should we use something like CLOCK_PROCESS_CPUTIME_ID instead of CLOCK_MONOTONIC in ggml_time_*? This would make the benchmarks in #89 outdated, but would make future benchmarks more realistic.

Guida contributor

Direzione di ricerca
Esamina l'attuale utilizzo di CLOCK MONOTONIC nelle funzioni ggml time * e confrontalo con CLOCK PROCESS CPUTIME ID per valutare l'impatto sull'accuratezza del benchmark. Considera la compatibilità della piattaforma e la sicurezza dei thread.
Tech stack
cpp
Dominio
performance
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Nessuno
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75