Batch-level error rates for early shutdown
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 45/100
- Issue 类型
- 重构
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- python
调研方向
首先，沿着 ConcurrentThreadExecutor 及其周围的批处理编排，追踪提前关闭时的错误率处理。确定批处理完成和可调整的批处理大小在哪里处理，然后将计算移至批处理级别，以便非并发生成器可以使用它。完成标准是每个批次的错误率稳定，并且提前关闭会等待至少一个已完成的批次；添加或更新在追踪过程中找到的相关测试。
由索引模型根据 Issue 内容生成。
描述
Priority Level
Medium
Task Summary
Our error-rate calculation for early shutdown in the ConcurrentThreadExecutor attempts to calculate error rates more or less in real time. This can lead to massive overestimates of the error rate, particularly for jobs with high concurrency, since jobs can fail faster than they succeed.
The proposal of this issue is to instead calculate error rates at the batch level (i.e., outside of ConcurrentThreadExecutor).
A couple benefits of this approach:
- The batch-level error rate will be a much more stable measurement at a consistent scale across jobs.
- This will allow the early-shutdown mechanism to be applied to generators that do not support concurrency.
One downside is that you always have to wait for at least one batch to complete. This seems acceptable given that the batch size is adjustable and (for cases where this all matters) will generally be much smaller than the target number of records.
- 主要语言
- Python
- 星标
- 2.3k
- 派生
- 215
- 平均合并
- 3 天 15 小时
- 30 天内合并 PR
- 41
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
NVIDIA-NeMo/DataDesigner 的其他 Issue
-
task
难度 2/5 1-3 小时 新手友好度 82/100
NVIDIA-NeMo/DataDesigner#760 ·
维护者通常 1 天内回复
-
bug
难度 3/5 1-2 天 新手友好度 78/100
NVIDIA-NeMo/DataDesigner#971 ·
维护者通常 1 天内回复
-
Run Slurm generation without a client image using a versioned vLLM serving image可能已有人在做 @nabinchha 今天认领。 未关闭task triaged
NVIDIA-NeMo/DataDesigner#969 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Harden Slurm inference routing, backpressure, and failover可能已有人在做 @nabinchha 于 1 天前认领。 未关闭task
NVIDIA-NeMo/DataDesigner#966 · 已指派 1 人 ·
维护者通常 1 天内回复
-
enhancement triaged
难度 4/5 3-5 天 新手友好度 40/100
NVIDIA-NeMo/DataDesigner#956 ·
维护者通常 1 天内回复
查看 NVIDIA-NeMo/DataDesigner 的全部 Issue
相似的 Issue
-
repo-audit
难度 2/5 1-3 小时 新手友好度 75/100
scverse/repo-health#20 ·
维护者通常 1 天内回复
-
/context/prime scope override double-prefixes an entity-ref project and drops its scoped memories未关闭
难度 2/5 1-3 小时 新手友好度 85/100
phasespace-labs/palinode#232 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
collective/icalendar#1858 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 78/100
langflow-ai/langflow#15496 ·
维护者通常 1 天内回复