Request permission to use InferenceX benchmark results in ConfigIQ
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1時間未満
- 初心者へのやさしさ
- 18/100
- issue の種類
- ドキュメント
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 領域
- data, documentation
調査の方向性
This is a licensing and permission question rather than a code change: the issue asks whether SemiAnalysis approves private storage, public attributed display, and weekly API refresh of benchmark results, and it points to the API docs and Section 7 of the general terms. A newcomer would read the linked terms and API documentation and check for any stated license, attribution or rate-limit rules. Done means a maintainer has answered the permission question in the thread.
索引モデルが issue の本文から書いたものです。
説明
Hi InferenceX team,
The ConfigIQ team is developing a Compare page that shows measured inference performance alongside AISimulators predictions across concurrency levels.
We would like to add InferenceX as a separately labeled measurement source on ConfigIQ’s comparison page. If approved, we propose to:
- Fetch selected published single-turn 8192-input / 1024-output-token results using
/api/v1/availability,/api/v1/views/options, and/api/v1/benchmarks. - Normalize the selected results and store them in a private Hugging Face dataset so ConfigIQ can load configuration options.
- Display selected measurements on ConfigIQ’s public comparison charts alongside our measurements and AISimulators predictions. We would clearly attribute the data to InferenceX/SemiAnalysis and link to the original benchmark runs. The private dataset would not be offered as a public download.
- Refresh the private dataset from your API approximately once a week.
The API documentation describes accessing and exporting data for analysis, but we could not determine whether it permits this specific workflow. Section 7 of SemiAnalysis’s general terms also raises a question about scheduled API collection.
Would SemiAnalysis approve these uses: private storage of a normalized subset, public display of selected measurements with attribution, and a weekly API refresh? Are there license, attribution, or request-frequency requirements we should follow? Thanks.
- 主要言語
- Python
- スター
- 1.9k
- フォーク
- 343
- 平均マージ
- 2日 40分
- マージ済み PR（30日）
- 431
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
SemiAnalysisAI/InferenceX のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
SemiAnalysisAI/InferenceX#2125 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
SemiAnalysisAI/InferenceX#1587 ·
メンテナーはふだん 1 日以内に返信
-
[experimental chore/agentx-v0.2-aiperf-testing branch] agentic build_replay_cmd: missing --tokenizer-trust-remote-code breaks Kimi-K2.5 (and other custom-code tokenizer models) / agentic build_replay_cmd 缺少 --tokenizer-trust-remote-code 导致 Kimi-K2.5 等自定义 tokenizer 模型失败再び着手できるかも @sahil-bhatti-ai が 172 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
SemiAnalysisAI/InferenceX#1369 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1〜3時間 初心者へのやさしさ 76/100
SemiAnalysisAI/InferenceX#1359 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 47/100
SemiAnalysisAI/InferenceX#4533 ·
メンテナーはふだん 1 日以内に返信
SemiAnalysisAI/InferenceX の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
Nixtla/mlforecast#823 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
microsoft/ML-For-Beginners#1061 ·
-
bot-found documentation priority: P3
難易度 2/5 1時間未満 初心者へのやさしさ 82/100
madenvel/KalinkaPlayer#503 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 63/100
EleutherAI/lm-evaluation-harness#4508 ·
メンテナーはふだん 1 日以内に返信