Support image columns and media collection in multi-shard Slurm runs
维护者通常 1 天内回复
@nabinchha 已经在做这个了。
开始于 2026年10月29日。
评估
这个 Issue 还没有评估数据。
描述
Problem
Slurm planning explicitly rejects image columns when array_tasks.count > 1 in packages/data-designer-slurm/src/data_designer/slurm/planning/resolution.py.
Image generation can persist media separately from dataset rows. The current collection implementation merges verified Parquet outputs; it does not consolidate shard-local media files and preserve or rewrite their references. Removing the planning guard alone would therefore leave disk-backed image outputs unsupported.
Proposed solution
Define and implement image-output handling across shard generation, retries, winner publication, and collection. Include media artifacts in the output contract as needed, give them collision-safe identities, and ensure collected rows resolve to the correct images. Specify which persistence modes are supported.
Acceptance criteria
- A dataset with an image column can run across multiple array tasks and be collected successfully.
- Collected media references remain valid after collection, without depending on temporary allocation storage.
- Media names cannot collide across shards or attempts.
- Collection uses artifacts from winning attempts only and validates required files and their integrity.
- Missing or corrupt media produces an actionable failure; retries and repeated collection do not publish partial output.
- Tests cover supported persistence modes, shard retries, artifact references, and collection; documentation states any remaining restrictions.
Alternatives
Use a single array task for image generation, or assemble media and dataset references manually after separate runs.
Context
Related to #850. Plugin/custom-column sharding is tracked separately.
- 主要语言
- Python
- 星标
- 2.4k
- 派生
- 241
- 平均合并
- 22 小时 24 分钟
- 30 天内合并 PR
- 91
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
NVIDIA-NeMo/DataDesigner 的其他 Issue
-
Allow huggingface-hub 2.x (widen cap from <2 to <3)可能已有人在做 @davanstrien 于 1 天前认领。 未关闭enhancement triaged
难度 2/5 1-3 小时 新手友好度 72/100
NVIDIA-NeMo/DataDesigner#1110 · 1 条评论 ·
维护者通常 1 天内回复
-
Local seed path containing a single quote breaks the DuckDB query可能重新可做 关联的 PR 已关闭且未合并。 未关闭bug triaged
难度 2/5 1-3 小时 新手友好度 67/100
NVIDIA-NeMo/DataDesigner#1102 · 3 条评论 ·
维护者通常 1 天内回复
-
enforce \from future import annotations` via ruff FA102 rule`可能已有人在做 @chethanuk 于 50 天前认领。 未关闭task
难度 2/5 1-3 小时 新手友好度 82/100
NVIDIA-NeMo/DataDesigner#760 ·
维护者通常 1 天内回复
-
Anthropic provider drops thinking blocks when replaying MCP tool-call turns可能已有人在做 @andreatnvidia 今天认领。 未关闭bug triaged
难度 4/5 3-5 天 新手友好度 68/100
NVIDIA-NeMo/DataDesigner#1118 · 2 条评论 ·
维护者通常 1 天内回复
-
Support plugin and custom columns in multi-shard Slurm runs可能已有人在做 @nabinchha 于 1 天前认领。 未关闭enhancement
NVIDIA-NeMo/DataDesigner#1113 · 已指派 1 人 ·
维护者通常 1 天内回复
查看 NVIDIA-NeMo/DataDesigner 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
namespace operations
难度 1/5 1 小时以内 新手友好度 65/100
EclipseFdn/open-vsx.org#15057 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
FinanceFlash/unvibecode#349 ·
-
Mission statement: why this is free, in the README, Why This Exists and the wiki Home可能已有人在做 @ChiefGyk3D 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 76/100
ChiefGyk3D/Clouds-Against-Humanity#348 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 74/100
vllm-project/vime#508 ·
维护者通常 4 天内回复