Allow user to keep record fields that failed to parse as `null`.
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
Línea de trabajo
Comienza rastreando cómo se gestionan los errores de parseo de LLMCodeColumnConfig y dónde se omiten los registros fallidos durante la generación del dataset. Define cómo una configuración opt-in debe conservar esos registros con un valor parseado null, preservando sus trazas, y verifica después el comportamiento para las estrategias ORDERED y drop.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Priority Level
Medium (Nice to have)
Is your feature request related to a problem? Please describe.
Currently, failed parses from e.g. LLMCodeColumnConfig give an error like
[WARNING] ⚠️ Generation for record at index N failed. Will omit this record from the dataset.
|----------
| Cause: The provided output schema was unable to be parsed from model 'model' responses while running generation for column 'column'.
| Solution: This is most likely temporary as we make additional attempts. If you continue to see more of this, simplify or modify the output schema for structured output and try again. If you are attempting token-intensive tasks like generations with high-reasoning effort, ensure that max_tokens in the model config is high enough to reach completion.
|----------
The trace (if set up to be exported) is also lost.
Describe the solution you'd like
Ideally, users should have the option to keep these records in the dataset with the json parsed to null. Three reasons:
- Some use-cases (with the ORDERED strategy) expect one output for every seed - this violates that.
- The
dropstrategy means losing other work done within the record, which might be useful to the user. - The trace is very useful in debugging parse failures.
Describe alternatives you've considered
Writing my own parser which also permits arbitrary text and parses to null - quite complicated though.
Additional context
No response
- Lenguaje dominante
- Python
- Estrellas
- 2.3k
- Forks
- 227
- Merge medio
- 22 h 13 min
- PR fusionados (30 d)
- 63
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de NVIDIA-NeMo/DataDesigner
-
docs: required_columns description is incomplete for LLM and multimodal columnsPosiblemente ocupada @rksharma-owg la tomó hace 3 días. Abiertobug triaged
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
NVIDIA-NeMo/DataDesigner#1002 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
-
enforce \from future import annotations` via ruff FA102 rule`Posiblemente ocupada @chethanuk la tomó hace 39 días. Abiertotask
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
NVIDIA-NeMo/DataDesigner#760 ·
Los mantenedores suelen responder en 1 día
-
task
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
NVIDIA-NeMo/DataDesigner#1056 ·
Los mantenedores suelen responder en 1 día
-
dependencies task
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
NVIDIA-NeMo/DataDesigner#1054 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100
NVIDIA-NeMo/DataDesigner#1048 ·
Los mantenedores suelen responder en 1 día
Todos los issues de NVIDIA-NeMo/DataDesigner
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
eclipse-score/inc_someip_gateway#356 ·
Los mantenedores suelen responder en 2 días
-
[BUG]: `GitHubRestAdapter.check_user_permission` and `has_write_access` raise `TypeError` (missing `params`), silently disabling the inactivity lifecyclePosiblemente ocupada @tarunagnihotri534 la tomó hoy. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
AOSSIE-Org/Gitcord-GithubDiscordBot#167 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
mihai-vlc/sublime-jsfmt#56 ·
-
comp/cli comp/plugins P2 type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
NousResearch/hermes-agent#141917 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
riscv/riscv-opcodes#441 ·