ggml-org/whisper.cpp

Should we use process time for benchmarks/timings?

Offen

#382 geöffnet am 07.01.2023

Auf GitHub ansehenContributor Guide
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)C++ (6.072 Forks)batch import
enhancementgood first issue

Repository-Metriken

Stars
 (52.942 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 5T 20h) (36 gemergte PRs in 30 T)

Beschreibung

Currently, the bench tool simply spits out the timings from whisper_print_timings. These timings are not process specific and as such are influenced by other processes on the system.

Should we use something like CLOCK_PROCESS_CPUTIME_ID instead of CLOCK_MONOTONIC in ggml_time_*? This would make the benchmarks in #89 outdated, but would make future benchmarks more realistic.

Contributor Guide

Research-Richtung
Untersuchen Sie die aktuelle Verwendung von CLOCK MONOTONIC in den ggml time * Funktionen und vergleichen Sie sie mit CLOCK PROCESS CPUTIME ID, um die Auswirkungen auf die Benchmark Genauigkeit zu bewerten. Berücksichtigen Sie Plattformkompatibilität und Thread Sicherheit.
Tech Stack
cpp
Domain
performance
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Keine
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75