Serving benchmark: cold fit, warm predict, many tenants
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- machine-learning, performance
Línea de trabajo
Start by reading bench_workload.py, sweep_admission.py, and bench_concurrency.py, then inspect benchmarks/bench_vs_hosted_api.py for the hosted baseline. Build one script that runs the full suite and writes JSON, measuring cold fit, warm predict latency, and multi-tenant throughput and tail latency, including eviction and disk restores. Done means reproducible results for at least L4 and A40 are published in docs/benchmarks.md with exact commands.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Publish a serving benchmark for tabular foundation models. The existing comparisons are accuracy leaderboards. Nobody publishes what it costs to serve these models.
Measure
- Cold fit: time by rows × features.
- Warm predict: p50 and p99 latency against a cached context, by batch size.
- Many tenants: throughput and tail latency with N tenants and M tables on one GPU, including eviction and restores from disk.
- Baselines: the model in your own process, and the hosted API where the terms allow it (
benchmarks/bench_vs_hosted_api.py).
Deliver
- One script that runs the whole suite and writes JSON, reusing
bench_workload.py,sweep_admission.pyandbench_concurrency.py. - Results on at least L4 and A40 in
docs/benchmarks.md, with the exact commands to reproduce them.
- Lenguaje dominante
- Python
- Estrellas
- 1
- Forks
- 1
- Merge medio
- 6 h 45 min
- PR fusionados (30 d)
- 66
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de VectorInstitute/tabctx
-
area/api enhancement good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
VectorInstitute/tabctx#111 ·
Los mantenedores suelen responder en 1 día
-
A Colab quickstart notebookAbiertodocumentation good first issue help wanted
Dificultad 3/5 1-2 días Aptitud para principiantes 76/100
VectorInstitute/tabctx#113 ·
Los mantenedores suelen responder en 1 día
-
Report whether a predict used the cached context or restored it (cache_outcome)Posiblemente ocupada @sunxiuguo la tomó hoy. Abiertoarea/api enhancement good first issue
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
VectorInstitute/tabctx#112 ·
Los mantenedores suelen responder en 1 día
-
area/api enhancement P3 roadmap
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
VectorInstitute/tabctx#106 ·
Los mantenedores suelen responder en 1 día
-
area/api area/memory enhancement P1 roadmap
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
VectorInstitute/tabctx#103 ·
Los mantenedores suelen responder en 1 día
Todos los issues de VectorInstitute/tabctx
Issues similares
-
follow-up needs-triage S3: minor
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
manaflow-ai/cmux#36856 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
documentation good first issue help wanted
Dificultad 1/5 1-3 horas Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 73/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
Shell framework build fails at "copy the shader libraries": the iOS shader libraries are now one file b-<chain>.imgPosiblemente ocupada @xiaofeng-han la tomó hoy. Abiertobuild ios
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día