Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Throughput should be `num_queries/latency` as opposed to `num_clients/latency`?

Aperta
#858 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
38/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
python
Ambito
performance

Direzione di ricerca

Inizia da benchmarks/inference/mii/src/postprocess_results.py alla riga 73 e traccia il modo in cui il benchmark produce num_clients, num_queries e latency. Determina quale denominatore e quale misura della latenza rappresentano il throughput, quindi aggiorna il calcolo in modo che la metrica riportata corrisponda a questa definizione e verifica l'output risultante in un'esecuzione del benchmark.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

The mii inferencing benchmark script computes throughput as num_clients/latency. Shouldn't this be num_queries/latency?

Also why use P95 latency and not the total time it took to process all the requests, for the purposes of computing throughput?

Lingua principale
Python
Stelle
6.8k
Fork
1.1k
Merge medio
2g 16h
PR unite (30g)
1

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di deepspeedai/DeepSpeedExamples

Tutte le issue di deepspeedai/DeepSpeedExamples

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.