[bot] Instrument Baseten Performance Client (87,159 weekly downloads)

Đang mở
  • Có gì không ổn?
#1,038 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
observability

Hướng nghiên cứu

Start with the existing integrations under py/src/braintrust/integrations/ and the matrix in py/pyproject.toml to see how a wrapper is registered, then check py/noxfile.py for the session pattern. The issue lists five sync/async PerformanceClient entrypoints that need spans, so decide which ones to cover first. Done means a traced test session that runs against the package, but the scope and approach need maintainer input first.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

python

Summary

baseten-performance-client (import name baseten_performance_client) is Baseten's dedicated high-throughput Python client for embeddings, reranking, and classification inference against Baseten-hosted models. It is a Rust-backed (pyo3/reqwest/tokio) client distinct from both the general-purpose baseten management SDK and from calling Baseten endpoints through an OpenAI-compatible interface. This repository has zero instrumentation for it — no integration directory, wrapper, nox session, or matrix entry, and not even an incidental mention anywhere under py/.

This is a distinct execution surface from Braintrust's existing Baseten support: Braintrust currently only documents Baseten as a gateway-routed model provider for chat completions (see docs status below) — it does not cover this package's embeddings/reranking/classification execution API at all. It is also distinct from already-instrumented embedding/rerank libraries (cohere rerank, voyageai — itself still an open gap in #482) since it talks to Baseten-hosted deployments specifically via its own PerformanceClient class.

What is missing

The PerformanceClient class exposes paired sync/async execution entrypoints, none of which produce a Braintrust span today:

  • PerformanceClient.embed() / async_embed() — embedding execution against Baseten Embedding Inference deployments
  • PerformanceClient.rerank() / async_rerank() — document reranking execution
  • PerformanceClient.classify() / async_classify() — classification execution
  • PerformanceClient.batch_system_one() / async_batch_system_one() — batched "System One" decision execution
  • PerformanceClient.batch_post() / async_batch_post() — generic batched JSON request execution (e.g. against Engine-Builder-LLM completion endpoints)

All of these are high-concurrency batch execution calls (default max_concurrent_requests=256, configurable retries/hedging/timeouts via RequestProcessingPreference) that are the primary way applications drive bulk embedding/rerank/classification workloads through Baseten — currently entirely invisible to Braintrust tracing.

Weekly downloads

Weekly downloads: 87,159 (fetched 2026-11-02; https://pypistats.org/api/packages/baseten_performance_client/recent)

Braintrust docs status

not_found — checked:

Upstream sources

Local repo files inspected

  • py/src/braintrust/integrations/ — no baseten/ directory, no file matching baseten* anywhere
  • py/src/braintrust/wrappers/ — no Baseten wrapper
  • py/pyproject.toml [tool.braintrust.matrix] — no baseten entry
  • py/noxfile.py — no test_baseten session
  • Repo-wide case-insensitive grep for baseten under py/ — zero matches of any kind (not even incidental)
Ngôn ngữ chính
Python
Star
22
Fork
30
Merge trung bình
9 giờ
Pull request đã merge (30 ngày)
128

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của braintrustdata/braintrust-sdk-python

Tất cả issue của braintrustdata/braintrust-sdk-python

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.