Serving benchmark: cold fit, warm predict, many tenants
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
Start by reading bench_workload.py, sweep_admission.py, and bench_concurrency.py, then inspect benchmarks/bench_vs_hosted_api.py for the hosted baseline. Build one script that runs the full suite and writes JSON, measuring cold fit, warm predict latency, and multi-tenant throughput and tail latency, including eviction and disk restores. Done means reproducible results for at least L4 and A40 are published in docs/benchmarks.md with exact commands.
索引モデルが issue の本文から書いたものです。
説明
Publish a serving benchmark for tabular foundation models. The existing comparisons are accuracy leaderboards. Nobody publishes what it costs to serve these models.
Measure
- Cold fit: time by rows × features.
- Warm predict: p50 and p99 latency against a cached context, by batch size.
- Many tenants: throughput and tail latency with N tenants and M tables on one GPU, including eviction and restores from disk.
- Baselines: the model in your own process, and the hosted API where the terms allow it (
benchmarks/bench_vs_hosted_api.py).
Deliver
- One script that runs the whole suite and writes JSON, reusing
bench_workload.py,sweep_admission.pyandbench_concurrency.py. - Results on at least L4 and A40 in
docs/benchmarks.md, with the exact commands to reproduce them.
- 主要言語
- Python
- スター
- 1
- フォーク
- 1
- 平均マージ
- 6時間 45分
- マージ済み PR（30日）
- 66
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
VectorInstitute/tabctx のほかの issue
-
area/api enhancement good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
VectorInstitute/tabctx#111 ·
メンテナーはふだん 1 日以内に返信
-
documentation good first issue help wanted
難易度 3/5 1〜2日 初心者へのやさしさ 76/100
VectorInstitute/tabctx#113 ·
メンテナーはふだん 1 日以内に返信
-
Report whether a predict used the cached context or restored it (cache_outcome)対応中かも @sunxiuguo が今日担当しました。 オープンarea/api enhancement good first issue
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
VectorInstitute/tabctx#112 ·
メンテナーはふだん 1 日以内に返信
-
area/api enhancement P3 roadmap
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
VectorInstitute/tabctx#106 ·
メンテナーはふだん 1 日以内に返信
-
area/api area/memory enhancement P1 roadmap
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
VectorInstitute/tabctx#103 ·
メンテナーはふだん 1 日以内に返信
VectorInstitute/tabctx の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
its-me-prash/vwgroup-connect-ha#2019 ·
メンテナーはふだん 1 日以内に返信
-
bug good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
KonstantinStarovoytov/kitden#21 ·
メンテナーはふだん 1 日以内に返信
-
Refactorオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
ehmatthes/gh-profiler#166 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
smart-on-fhir/smart-fetch#73 ·
-
good first issue help wanted
難易度 1/5 1〜3時間 初心者へのやさしさ 85/100
RizgarOzan/playcal#13 ·