Benchmark 2.0
@archduke1337 ci sta già lavorando.
Dal 11/7/2026.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 38/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- typescript
- Ambito
- analytics
Direzione di ricerca
Non sono indicati file, test o punti di ingresso. Inizia individuando dove vengono eseguite le domande di benchmark e dove i relativi risultati vengono assemblati e archiviati; mappa la struttura dei risultati esistente prima di decidere come rappresentare le metriche per domanda, le medie dei modelli, i totali, le chiamate agli strumenti e i benchmark storici. Il lavoro è completo quando tutte le metriche elencate vengono registrate e riportate senza perdere i risultati dei benchmark precedenti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
🔖 Enhancement description
Details to include:
- ✅ Tokens used for each question (and average per model)
- ✅ Separate model input & output price
- ✅ Duration for each question (and average per model)
- ✅ Cost for each question (and average per model)
- ✅ TPS of model, like price of model
- ✅ total cost (sum of all)
- ✅ Remember total tool calls done for each question, and average on model
- Structure that stores old benchmarks too, not just latest
🎤 Pitch
More insightful benhmark
👀 Have you spent some time to check if this issue has been raised before?
- I checked and didn't find similar issue
🏢 Have you read the Code of Conduct?
- I have read the Code of Conduct
- Lingua principale
- TypeScript
- Stelle
- 42
- Fork
- 6
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di appwrite/arena
-
Dependency DashboardAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
Tutte le issue di appwrite/arena
Issue simili
-
Add: Upin & Ipin Channel HDApertacheck:passed streams:add
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
S: triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
iot client
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
Open-Locker/Open-Locker#365 ·
I maintainer di solito rispondono entro 1 giorno
-
bug enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 69/100
inmanta/web-console#7787 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
shoelace-style/webawesome#2979 ·
I maintainer di solito rispondono entro 1 giorno