Serving benchmark: cold fit, warm predict, many tenants
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 35/100
- Type d'issue
- Fonctionnalité
- Clarté
- Clairement spécifiée
- Activité
- Active
- Stack technique
- python
- Domaine
- machine-learning, performance
Piste de recherche
Start by reading bench_workload.py, sweep_admission.py, and bench_concurrency.py, then inspect benchmarks/bench_vs_hosted_api.py for the hosted baseline. Build one script that runs the full suite and writes JSON, measuring cold fit, warm predict latency, and multi-tenant throughput and tail latency, including eviction and disk restores. Done means reproducible results for at least L4 and A40 are published in docs/benchmarks.md with exact commands.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Publish a serving benchmark for tabular foundation models. The existing comparisons are accuracy leaderboards. Nobody publishes what it costs to serve these models.
Measure
- Cold fit: time by rows × features.
- Warm predict: p50 and p99 latency against a cached context, by batch size.
- Many tenants: throughput and tail latency with N tenants and M tables on one GPU, including eviction and restores from disk.
- Baselines: the model in your own process, and the hosted API where the terms allow it (
benchmarks/bench_vs_hosted_api.py).
Deliver
- One script that runs the whole suite and writes JSON, reusing
bench_workload.py,sweep_admission.pyandbench_concurrency.py. - Results on at least L4 and A40 in
docs/benchmarks.md, with the exact commands to reproduce them.
- Langage dominant
- Python
- Étoiles
- 1
- Forks
- 3
- Merge moyen
- 6 h 16 min
- PR mergées (30 j)
- 71
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de VectorInstitute/tabctx
-
tabctx-mcp: prediction intervals in the predict tool's outputPeut-être pris @knirosha007 l’a pris il y a 3 jours. Ouvertearea/api enhancement good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
VectorInstitute/tabctx#111 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
A Colab quickstart notebookOuvertedocumentation good first issue help wanted
Difficulté 3/5 1-2 jours Accessibilité débutants 76/100
VectorInstitute/tabctx#113 ·
Les mainteneurs répondent en général sous 1 jour
-
area/api enhancement P3 roadmap
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
VectorInstitute/tabctx#106 ·
Les mainteneurs répondent en général sous 1 jour
-
area/api area/memory enhancement P1 roadmap
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100
VectorInstitute/tabctx#103 ·
Les mainteneurs répondent en général sous 1 jour
-
area/api enhancement P2 roadmap
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100
VectorInstitute/tabctx#102 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de VectorInstitute/tabctx
Issues similaires
-
area:models enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
SACGF/variantgrid#2737 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
RedisStorage writes can persist a key without its sliding TTLPeut-être pris @lianbie l’a pris aujourd’hui. Ouvertetriage/confirmed
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
agentscope-ai/agentscope#3878 · 1 commentaire ·
Les mainteneurs répondent en général sous 2 jours
-
hindsight-api exits at start-up with UnicodeEncodeError when stdout is redirected on WindowsOuvertecore
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
vectorize-io/hindsight#6458 ·
Les mainteneurs répondent en général sous 1 jour