Incorrect Imagenet evals with pytorch_eval_num_workers > 0

评估

调研方向

描述

AlgoPerf submitter team reports that they are no longer able to reproduce the NAdam baseline results in PyTorch using the current repo in PyTorch on the ImageNet workloads (both ResNet and ViT).
See the plot below in terms of differences in the training/validation loss and accuracy between the given NAdam Jax results and the current run's results on ImageNet ViT.

They did not see a change in OGBG and FastMRI.

The list of commits that we merged were from 389fe3f823a5016289b55b48aa8061a37b18b401 to 79ccc5e860d7928cf896ffe12ec686c72fd840d4.

Steps to Reproduce

Running submission runner with eval_num_workers=4 (recently changed default to help speed up evals).

Source or Possible Fix

Setting the eval_num_workers to 0 resolves the discrepancy in evals. We are still investigating why.

环境准备

从这里开始

1. 先读完整个 Issue，再读项目的贡献指南。
2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
3. Fork 仓库，在一个分支上完成修改。
4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

mlcommons/algorithmic-efficiency 的其他 Issue

• schedule-free adamw: Analyze why jax performed better than pytorch on finewebedu workload

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 30/100

  mlcommons/algorithmic-efficiency#925 · 2026年5月19日 创建

• librispeech deepspeech validation loss differs between pytorch and jax, but wer aligns

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 38/100

  mlcommons/algorithmic-efficiency#924 · 5 条评论 · 2026年5月9日 创建

• Anima: live PH monitoring in conversational agent — overfitting detection every 50 interactions

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 25/100

  mlcommons/algorithmic-efficiency#919 · 2026年3月25日 创建

• Dual-engine architecture: tension-based confidence yields AUROC=1.0 anomaly detection and AUC=0.925 precognition

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 20/100

  mlcommons/algorithmic-efficiency#918 · 2026年3月25日 创建

• Topological overfitting detection: H0 gap catches overfitting before accuracy diverges (r=0.998)

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 15/100

  mlcommons/algorithmic-efficiency#917 · 2026年3月25日 创建

查看 mlcommons/algorithmic-efficiency 的全部 Issue

相似的 Issue

• profiler-md categorizes site-packages and stdlib frames as "Ours" in inputs from the python help's py-spy collapsed commands

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 77/100

  TomerAberbach/profiler-md#733 · 2026年10月17日 创建

  维护者通常 1 天内回复

• [VW EU] Setup fails with ImportError on HA < 2026.6: repairs.py imports RepairsFlowResult (hacs.json still says 2024.4.0)

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 68/100

  its-me-prash/vwgroup-connect-ha#1858 · 2026年10月17日 创建

  维护者通常 1 天内回复

• Tests: test_tui_sent_private_messages_and_full_screen is flaky on Windows

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消
  area: client bug

  难度 2/5 1-3 小时 新手友好度 68/100

  unseenet/unseenet#137 · 2026年10月17日 创建

  维护者通常 1 天内回复

• Deleting all alarms or timers shows deleted ones until the next update when there are none left

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消
  bug

  难度 2/5 1-3 小时 新手友好度 85/100

  leikoilja/ha-google-home#1107 · 2026年10月17日 创建

  维护者通常 1 天内回复

• [Bug]: graphify tree ignores the repo tag on merged graphs: no per-repo roots, and identical relative paths from different repos collapse together

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消
  bug

  难度 2/5 1-3 小时 新手友好度 76/100

  Graphify-Labs/graphify#4524 · 1 条评论 · 2026年10月17日 创建

  维护者通常 1 天内回复

更多 Python Issue