Support image columns and media collection in multi-shard Slurm runs
メンテナーはふだん 1 日以内に返信
@nabinchha がすでに取り組んでいます。
2026年10月29日 から。
評価
この issue はまだ評価されていません。
説明
Problem
Slurm planning explicitly rejects image columns when array_tasks.count > 1 in packages/data-designer-slurm/src/data_designer/slurm/planning/resolution.py.
Image generation can persist media separately from dataset rows. The current collection implementation merges verified Parquet outputs; it does not consolidate shard-local media files and preserve or rewrite their references. Removing the planning guard alone would therefore leave disk-backed image outputs unsupported.
Proposed solution
Define and implement image-output handling across shard generation, retries, winner publication, and collection. Include media artifacts in the output contract as needed, give them collision-safe identities, and ensure collected rows resolve to the correct images. Specify which persistence modes are supported.
Acceptance criteria
- A dataset with an image column can run across multiple array tasks and be collected successfully.
- Collected media references remain valid after collection, without depending on temporary allocation storage.
- Media names cannot collide across shards or attempts.
- Collection uses artifacts from winning attempts only and validates required files and their integrity.
- Missing or corrupt media produces an actionable failure; retries and repeated collection do not publish partial output.
- Tests cover supported persistence modes, shard retries, artifact references, and collection; documentation states any remaining restrictions.
Alternatives
Use a single array task for image generation, or assemble media and dataset references manually after separate runs.
Context
Related to #850. Plugin/custom-column sharding is tracked separately.
- 主要言語
- Python
- スター
- 2.4k
- フォーク
- 241
- 平均マージ
- 22時間 24分
- マージ済み PR（30日）
- 91
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA-NeMo/DataDesigner のほかの issue
-
Allow huggingface-hub 2.x (widen cap from <2 to <3)対応中かも @davanstrien が 1 日前に担当しました。 オープンenhancement triaged
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
NVIDIA-NeMo/DataDesigner#1110 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Local seed path containing a single quote breaks the DuckDB query再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープンbug triaged
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
NVIDIA-NeMo/DataDesigner#1102 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
-
enforce \from future import annotations` via ruff FA102 rule`対応中かも @chethanuk が 51 日前に担当しました。 オープンtask
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
NVIDIA-NeMo/DataDesigner#760 ·
メンテナーはふだん 1 日以内に返信
-
Anthropic provider drops thinking blocks when replaying MCP tool-call turns対応中かも @andreatnvidia が 1 日前に担当しました。 オープンbug triaged
難易度 4/5 3〜5日 初心者へのやさしさ 68/100
NVIDIA-NeMo/DataDesigner#1118 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
Support plugin and custom columns in multi-shard Slurm runs対応中かも @nabinchha が 2 日前に担当しました。 オープンenhancement
NVIDIA-NeMo/DataDesigner#1113 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
NVIDIA-NeMo/DataDesigner の issue をすべて見る
似ている issue
-
[Bug]: Responses API 500s on assistant message with empty content list対応中かも @shadowmodder が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
vllm-project/vllm#64940 ·
メンテナーはふだん 1 日以内に返信
-
limits
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
Status: Triage Type: Quest
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
GTNewHorizons/GT-New-Horizons-Modpack#27490 ·
メンテナーはふだん 1 日以内に返信
-
LLM.save() discards the model's active prompt style対応中かも @remote-controlled-man が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
Lightning-AI/litgpt#2378 ·
メンテナーはふだん 23 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
メンテナーはふだん 1 日以内に返信