Ability to control order of multi-modal context along with prompts
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 38/100
Línea de trabajo
El issue no menciona archivos, pruebas ni puntos de entrada. Empieza localizando el ensamblado de contexto multimodal que actualmente coloca las imágenes antes que el texto y, después, revisa cómo se representan los prompts y los medios. La implementación debería incluir un mecanismo de ordenación definido que admita texto e imágenes intercalados, junto con cobertura para los ejemplos de ordenación descritos aquí.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Priority Level
Medium (Nice to have)
Is your feature request related to a problem? Please describe.
Right now all images are packed before text prompts. There is no way to control the order of multi-modal context with text prompts.
Describe the solution you'd like
The desire is to have finer control over the exact order of multi-modal context:
<images> <text>
Page1 <image1> page2 <image2> <more text>
{“<image1”>: path, “<image2>”: path2}
“Page1 <image1> page2 <image2>”
“Frame 1 timestamp x” <video frame1>
<audio> <image> <video> <image> <image> <audio>
This is necessary when working with multi-modal data.
Describe alternatives you've considered
No response
Additional context
No response
- Lenguaje dominante
- Python
- Estrellas
- 2.3k
- Forks
- 211
- Merge medio
- 3 d 20 h
- PR fusionados (30 d)
- 47
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de NVIDIA-NeMo/DataDesigner
-
task
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
NVIDIA-NeMo/DataDesigner#760 ·
Los mantenedores suelen responder en 1 día
-
enhancement triaged
Dificultad 4/5 3-5 días Aptitud para principiantes 40/100
NVIDIA-NeMo/DataDesigner#956 ·
Los mantenedores suelen responder en 1 día
-
task
Dificultad 5/5 Más de una semana Aptitud para principiantes 42/100
NVIDIA-NeMo/DataDesigner#947 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
NVIDIA-NeMo/DataDesigner#946 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
task
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
NVIDIA-NeMo/DataDesigner#885 ·
Los mantenedores suelen responder en 1 día
Todos los issues de NVIDIA-NeMo/DataDesigner
Issues similares
-
correction metadata
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
acl-org/acl-anthology#10104 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug status/needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
prowler-cloud/prowler#12885 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Bug in GaussianTailProbabilityCalibrator: running_statistics=False still uses a windowed varianceAbiertobug good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
selimfirat/pysad#107 ·
Los mantenedores suelen responder en 1 día
-
bug ci-failure high priority
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
vllm-project/vllm-omni#8194 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día