mlcommons/endpoints-submission-cli

可能已有人在做的 issue 排在最后。 全部按时间排序

• Run requirements: duration keyed by region (rules key on concurrency), agentic 2400 s not encoded, values still "subject to ratification"

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 78/100

  mlcommons/endpoints-submission-cli#165 · 1 条评论 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Dedicated Offline run: which `region` value? `submitters_choice` currently passes the checker

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 半天 新手友好度 35/100

  mlcommons/endpoints-submission-cli#161 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Load pattern: §6.1 defines no wire tokens; the checker requires `concurrency` / `agentic_inference`

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 1/5 1-3 小时 新手友好度 92/100

  mlcommons/endpoints-submission-cli#160 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Availability field spelling: the checker accepts three spellings; the rules use one (system_availability_status)

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 88/100

  mlcommons/endpoints-submission-cli#159 · 2026年10月30日 创建

  维护者通常 1 天内回复

• system_info: the checker documents system_desc.json as submitter-authored; Submission Rules §5.2 tells submitters to configure a `system_info` section

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 78/100

  mlcommons/endpoints-submission-cli#158 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Warmup salt: the checker warns when salt is enabled; §6.3.1 requires salting exactly when performance data is used for warmup

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 55/100

  mlcommons/endpoints-submission-cli#157 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Checker docs/messages cite rule sections that do not exist (§10, §11, §12, §14, §15)

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 88/100

  mlcommons/endpoints-submission-cli#156 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Drafter approval lead time: §2.9.4 anchors on the review eligibility date, §9.1 on target_cohort; the checker uses target_cohort

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 38/100

  mlcommons/endpoints-submission-cli#155 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Accuracy gate enforced from MLPerf Inference constants while §2.9.8 is WIP and no benchmark definition publishes Endpoints targets

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 45/100

  mlcommons/endpoints-submission-cli#154 · 2026年10月30日 创建

  维护者通常 1 天内回复

• tps_utilization: §8.2's "max of all reported_system_tps for all runs" is unscoped; the checker normalizes per curve

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 半天 新手友好度 50/100

  mlcommons/endpoints-submission-cli#153 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Power tolerance/precision: "computed disagrees" has no threshold in the rules; the checker defines its own tolerances

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 55/100

  mlcommons/endpoints-submission-cli#152 · 2026年10月30日 创建

  维护者通常 1 天内回复

• D.1 scale-up fallback cannot run: the descriptor does not declare the link protocol

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 54/100

  mlcommons/endpoints-submission-cli#151 · 2026年10月30日 创建

  维护者通常 1 天内回复

• E.7 power schema: two structural choices are enforced as rejections while E.7 marks them "recommendations, not settled policy"

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 15/100

  mlcommons/endpoints-submission-cli#150 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Cooling vocabulary: E.2 requires liquid/air consistent with §8.2's free-text `cooling`; "passive cooling" has no overhead fraction

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 38/100

  mlcommons/endpoints-submission-cli#149 · 2026年10月30日 创建

  维护者通常 1 天内回复

• Power descriptor scope: §4.5.2 says every submission MUST include system_power.json; the checker makes it optional for RDI/Serviced

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 55/100

  mlcommons/endpoints-submission-cli#148 · 2026年10月30日 创建

  维护者通常 1 天内回复

• warmup concurrency should be zero if not used

  可能重新可做 @arav-agarwal2 于 46 天前认领，目前没有进行中的 PR。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 70/100

  mlcommons/endpoints-submission-cli#92 · 2 条评论 · 已指派 1 人 · 2026年9月23日 创建

  维护者通常 1 天内回复

• steam all chunks - should be false

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 65/100

  mlcommons/endpoints-submission-cli#91 · 2 条评论 · 2026年9月23日 创建

  维护者通常 1 天内回复

• Add agentic models for endpoints 1.0 launch

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 1/5 1 小时以内 新手友好度 85/100

  mlcommons/endpoints-submission-cli#90 · 2026年9月23日 创建

  维护者通常 1 天内回复

• Endpoints run output vs. the submission CLI

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 35/100

  mlcommons/endpoints-submission-cli#77 · 2026年8月31日 创建

  维护者通常 1 天内回复

• Separate 'run date' and 'run upload date'

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 30/100

  mlcommons/endpoints-submission-cli#76 · 2026年8月26日 创建

  维护者通常 1 天内回复

• Add interactivity to the CLI calculations, so reviewers can review the data.

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  mlcommons/endpoints-submission-cli#62 · 2026年7月9日 创建

  维护者通常 1 天内回复

• Require one accuracy result per run for v1.0 submissions.

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  mlcommons/endpoints-submission-cli#61 · 2026年7月7日 创建

  维护者通常 1 天内回复

• Null inside a named accuracy metric is dropped silently

  可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 78/100

  mlcommons/endpoints-submission-cli#178 · 2026年11月9日 创建

  维护者通常 1 天内回复

• NaN accuracy score passes the gate

  可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 76/100

  mlcommons/endpoints-submission-cli#177 · 2026年11月9日 创建

  维护者通常 1 天内回复

• Single-turn accuracy average includes the inline performance entry

  可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 82/100

  mlcommons/endpoints-submission-cli#176 · 2026年11月9日 创建

  维护者通常 1 天内回复

• Null SWE-bench result gives only a warning

  可能已有人在做 @anandhu-eng 于 1 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 35/100

  mlcommons/endpoints-submission-cli#175 · 2026年11月9日 创建

  维护者通常 1 天内回复

• Accuracy gate ignores complete: false

  可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 78/100

  mlcommons/endpoints-submission-cli#174 · 2026年11月9日 创建

  维护者通常 1 天内回复

• No check that samples issued is a whole multiple of the dataset size (§6.4)

  可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 58/100

  mlcommons/endpoints-submission-cli#167 · 2026年11月4日 创建

  维护者通常 1 天内回复

• Seed adoption window: docstring quotes §4.6 wording that is not in the current rules

  可能已有人在做 @anandhu-eng 于 1 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 1/5 1 小时以内 新手友好度 95/100

  mlcommons/endpoints-submission-cli#164 · 2026年10月30日 创建

  维护者通常 1 天内回复

• seed-config-legacy: no-`seed_set` points pass with a warning when seeds are 42, while §4.6 requires a recorded bound set

  可能已有人在做 @anandhu-eng 于 1 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  mlcommons/endpoints-submission-cli#163 · 2026年10月30日 创建

  维护者通常 1 天内回复

• steady_state block: the checker reads it from point.yaml, but the client writes it elsewhere

  可能已有人在做 @anandhu-eng 于 1 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 45/100

  mlcommons/endpoints-submission-cli#162 · 2026年10月30日 创建

  维护者通常 1 天内回复

• feat: `list` should print out system/model + filter by staus

  可能已有人在做 @TeoSlayer 于 13 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 半天 新手友好度 60/100

  mlcommons/endpoints-submission-cli#135 · 2026年10月15日 创建

  维护者通常 1 天内回复

• Warn instead of failing when a shared docs/src file conflicts with a run archive

  可能已有人在做 @TeoSlayer 于 13 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消
  enhancement

  难度 3/5 1-2 天 新手友好度 75/100

  mlcommons/endpoints-submission-cli#97 · 2026年9月30日 创建

  维护者通常 1 天内回复