Add sample code to measure latency on TextEmbeddingModel
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 3/5
- 預估耗時
- 半天
- 新手友好度
- 35/100
- Issue 類型
- 功能
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- python
研究方向
未指定檔案或測試。首先在 repository 中尋找現有的 TextEmbeddingModel 範例，並遵循它們的進入點與慣例。當新的範例傳送給定文字 N 次、測量每個請求並回報第 50、95 與 99 百分位延遲時，即視為完成。
由索引模型根據 Issue 內容生成。
描述
Thanks for stopping by to let us know something could be better!
PLEASE READ: If you have a support contract with Google, please create an issue in the support console instead of filing on GitHub. This will ensure a timely response.
The issue you're having must be related to a file in this repository. We are unable to provide assistance for issues unrelated to samples in this repository.
Please include as much information as possible:
Is your feature request related to a problem? Please describe.
Customer is looking for an authoritative way to properly measure the latency on a given model of TextEmbeddingModel
Describe the solution you'd like.
I would like to contribute by adding a new file with a code to send a given text N times, measure the time on each request and grouping them in percentiles 50, 95 and 99.
Describe alternatives you've considered.
I have not thought on any other alternative.
Additional context.
This is useful for those early adapters who want to make sure and confirm that this is indeed a reliable solution for the enterprise.
Making sure to follow these steps will guarantee the quickest resolution possible.
Thanks!
- 主要語言
- Jupyter Notebook
- 星號
- 8.1k
- 分支
- 6.7k
- 平均合併
- 4 天 4 小時
- 30 天內合併 PR
- 8
環境準備
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
GoogleCloudPlatform/python-docs-samples 的其他 Issue
-
samples
難度 2/5 1-3 小時 新手友好度 88/100
GoogleCloudPlatform/python-docs-samples#14609 ·
維護者通常 1 天內回覆
-
samples
難度 1/5 1 小時以內 新手友好度 92/100
GoogleCloudPlatform/python-docs-samples#14610 ·
維護者通常 1 天內回覆
-
samples
難度 2/5 1-3 小時 新手友好度 88/100
GoogleCloudPlatform/python-docs-samples#14611 ·
維護者通常 1 天內回覆
-
chore(generative_ai) Update model references for generative_ai samples可能重新可做 @XrossFox 於 152 天前認領，目前沒有進行中的 PR。 未關閉samples
GoogleCloudPlatform/python-docs-samples#14117 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
Fix Pipeline dependency issues for geospatial-classification/serving_app可能重新可做 @XrossFox 於 164 天前認領，目前沒有進行中的 PR。 未關閉samples
GoogleCloudPlatform/python-docs-samples#14091 · 已指派 1 人 ·
維護者通常 1 天內回覆
查看 GoogleCloudPlatform/python-docs-samples 的全部 Issue
相似的 Issue
-
Bug in GaussianTailProbabilityCalibrator: running_statistics=False still uses a windowed variance未關閉bug good first issue
難度 2/5 1-3 小時 新手友好度 88/100
selimfirat/pysad#107 ·
維護者通常 1 天內回覆
-
bug ci-failure high priority
難度 1/5 1 小時以內 新手友好度 88/100
vllm-project/vllm-omni#8194 · 1 則留言 ·
維護者通常 1 天內回覆
-
bug
難度 2/5 1-3 小時 新手友好度 88/100
維護者通常 1 天內回覆
-
[Bug] Models with tied embeddings, such as LFM2, fail to load when built with is_symmetric=false未關閉
難度 2/5 1-3 小時 新手友好度 90/100
microsoft/onnxruntime-genai#2632 ·
維護者通常 1 天內回覆
-
automation missing-model model-sync provider:fireworks-ai
難度 2/5 1-3 小時 新手友好度 74/100
anomalyco/models.dev#8146 ·
維護者通常 1 天內回覆