Text appears and disappears when POD is launched with models larger than 10B

Abierto

#118 abierto el 8/5/2024 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad: 4/5
Tiempo estimado: 3-5 días
Aptitud para principiantes: 20/100

Tipo de issue: Error
Claridad: Necesita aclaración
Estado de actividad: Estancado
Área: ai, backend

Línea de trabajo

No se identifica ningún archivo fuente, prueba ni punto de entrada. Empieza por reproducir el comportamiento con un modelo de más de 10B e inspeccionar el error del pod de Triton adjunto; después determina por qué desaparece el texto generado y verifica que la salida siga siendo visible después de la corrección.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

hello.

As the title says, when I use a model over 10B and reference it, the text comes up and then disappears.

I would appreciate your opinion on what could be the cause and how to fix it.

Thank you.

I'm also attaching the triton pod related error.

Received stop request for requestId 7796140 but it's not active (might be completed already).

Lenguaje dominante: Jupyter Notebook
Estrellas: 4.2k
Forks: 1.1k
Merge medio: 10 h 15 min
PR fusionados (30 d): 1

Guía de contribución

Abrir la guía de contribución

Primeros pasos

Lee el issue completo y luego la guía de contribución del proyecto.
Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
Haz un fork del repositorio y trabaja en una rama.
Abre un pull request que haga referencia al número del issue.

Más de NVIDIA/GenerativeAIExamples

Incorrect audit job payload for nemo-microservices/auditor:25.09 Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 70/100

NVIDIA/GenerativeAIExamples#361 · 2 comentarios · Abierto el 7/10/2025
Support Excel File Upload in Data Analysis Agent Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100

NVIDIA/GenerativeAIExamples#299 · Abierto el 4/6/2025
Resource: curated awesome-list for NVIDIA NIM integrations Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

NVIDIA/GenerativeAIExamples#437 · Abierto el 11/6/2026
hyperlink not working Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 45/100

NVIDIA/GenerativeAIExamples#400 · Abierto el 19/11/2025
payload = { "name": "getting-started-job", "project": "demo", "spec": { "config": f"default/{config_name}", "target": f"default/{target_name}", } } Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100

NVIDIA/GenerativeAIExamples#399 · Abierto el 17/11/2025

Todos los issues de NVIDIA/GenerativeAIExamples

Issues similares

plugins: post-install hint for a memory-provider plugin says `hermes plugins enable`, which does not activate it (memory.provider stays empty) Abierto

area/config comp/cli comp/plugins P3 Plugin Catalog sweeper:risk-compatibility tool/memory type/bug

Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100

NousResearch/hermes-agent#119909 · 1 comentario · Abierto el 23/9/2026
[Bug] gaussian_actor: use_tanh_squash is documented and stored but never read (tanh squashing cannot be disabled) Abierto

bug configuration documentation examples policies processor tests training

Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100

huggingface/lerobot#4727 · Abierto el 23/9/2026
📱 AI 日报 · 2026-09-23 Abierto

ai-content daily-post

Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100

happydog-intj/ai-xiaohongshu-daily#499 · Abierto el 23/9/2026
[Bug]: PrevNextNodePostprocessor loses retrieved scores when neighbor windows overlap Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100

run-llama/llama_index#23199 · Abierto el 23/9/2026
`OpenAIChatModel` streaming keeps only the last chunk's `logprobs` Abierto

p:2-high pydanty:bug

Dificultad 2/5 1-3 horas Aptitud para principiantes 90/100

pydantic/pydantic-ai#8642 · 2 comentarios · Abierto el 22/9/2026

Más issues de AI Infra & Agents