Add sample code to measure latency on TextEmbeddingModel
I maintainer di solito rispondono entro 5 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- Mezza giornata
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
Non è indicato alcun file o test. Inizia individuando gli esempi esistenti di TextEmbeddingModel nel repository e segui i relativi entry point e le convenzioni. Il lavoro è completato quando un nuovo esempio invia il testo fornito N volte, misura ogni richiesta e riporta le latenze dei percentili 50°, 95° e 99°.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Thanks for stopping by to let us know something could be better!
PLEASE READ: If you have a support contract with Google, please create an issue in the support console instead of filing on GitHub. This will ensure a timely response.
The issue you're having must be related to a file in this repository. We are unable to provide assistance for issues unrelated to samples in this repository.
Please include as much information as possible:
Is your feature request related to a problem? Please describe.
Customer is looking for an authoritative way to properly measure the latency on a given model of TextEmbeddingModel
Describe the solution you'd like.
I would like to contribute by adding a new file with a code to send a given text N times, measure the time on each request and grouping them in percentiles 50, 95 and 99.
Describe alternatives you've considered.
I have not thought on any other alternative.
Additional context.
This is useful for those early adapters who want to make sure and confirm that this is indeed a reliable solution for the enterprise.
Making sure to follow these steps will guarantee the quickest resolution possible.
Thanks!
- Lingua principale
- Jupyter Notebook
- Stelle
- 8.1k
- Fork
- 6.7k
- Merge medio
- 4g 12h
- PR unite (30g)
- 9
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di GoogleCloudPlatform/python-docs-samples
-
samples
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
GoogleCloudPlatform/python-docs-samples#14609 ·
I maintainer di solito rispondono entro 5 giorni
-
samples
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
GoogleCloudPlatform/python-docs-samples#14610 ·
I maintainer di solito rispondono entro 5 giorni
-
samples
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
GoogleCloudPlatform/python-docs-samples#14611 ·
I maintainer di solito rispondono entro 5 giorni
-
chore(generative_ai) Update model references for generative_ai samplesForse di nuovo libera @XrossFox l’ha presa 155 giorni fa e non c’è nessuna pull request aperta. Apertasamples
GoogleCloudPlatform/python-docs-samples#14117 · 1 assegnatario ·
I maintainer di solito rispondono entro 5 giorni
-
Fix Pipeline dependency issues for geospatial-classification/serving_appForse di nuovo libera @XrossFox l’ha presa 167 giorni fa e non c’è nessuna pull request aperta. Apertasamples
GoogleCloudPlatform/python-docs-samples#14091 · 1 assegnatario ·
I maintainer di solito rispondono entro 5 giorni
Tutte le issue di GoogleCloudPlatform/python-docs-samples
Issue simili
-
bug type:Bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
I maintainer di solito rispondono entro 1 giorno
-
bot-triaged oncall: cpu inductor
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
pytorch/pytorch#199058 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
Lightning-AI/torchmetrics#3521 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
_gated_residual updates the residual stream in place, which breaks the Qwen-Image-2.1 training pathAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
[bug] COS 镜像写 HF cache 的 refs/main 带尾换行，huggingface_hub 不 strip → 本地模型加载失败并回退联网（内网直接 Errno 110）Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
TencentCloud/Octop#1341 ·
I maintainer di solito rispondono entro 1 giorno