GLiClass: large separate-label-group requests can wait minutes in the queue under mixed load
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 18/100
Línea de trabajo
Start with how separate-group extract requests are split into rows and scheduled in the server's batcher and queue, which the issue does not name by file. Reproduce with mixed extract traffic at concurrency 16, including some 7–8 label-group requests over 20+ long items, and measure queue wait versus GPU time. Done means identifying where the wait occurs and whether a per-request timeout or cancellation reaches the caller.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Seen while benchmarking GLiClass (knowledgator/gliclass-large-v1.0) on one L4 with 16 requests in flight and mixed extract traffic: in each 4-minute window, 3 to 6 requests timed out at the client's 300 s limit.
All of them used separately encoded label groups (7 or 8 groups) over many long items. Their GPU work should take a few seconds, so the time seems to be spent waiting in the server's queue or batcher, not in inference. It happened the same way with CUDA graphs on (#389) and with the previous runner, so it is not graph-related.
To investigate:
- How separate-group requests are split into rows and scheduled. Can a large multi-group request starve, or be starved behind, smaller requests? Is there a fairness or ordering issue in the batcher?
- Whether any per-request timeout or cancellation surfaces the wait to the caller.
- Reproduce: mixed extract traffic at concurrency 16, with some requests of 7 or 8 separate label groups over 20+ long items.
- Lenguaje dominante
- Python
- Estrellas
- 3.5k
- Forks
- 328
- Merge medio
- 16 h 25 min
- PR fusionados (30 d)
- 121
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de superlinked/sie
-
MODEL_NOT_FOUND gives no suggestion for a model listed only as model:profilePosiblemente ocupada @ShaiShmuel la tomó hoy. Abiertoenhancement rust
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
superlinked/sie#985 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
superlinked/sie#969 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
superlinked/sie#903 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
superlinked/sie#892 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
superlinked/sie#851 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
Todos los issues de superlinked/sie
Issues similares
-
Feature Request
Dificultad 1/5 1-3 horas Aptitud para principiantes 68/100
spotDL/spotify-downloader#2839 ·
Los mantenedores suelen responder en 1 día
-
Missing license fileAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
ops/setup.py writes ops/hub.json non-atomically (the torn-write class of #219, in the installer)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
mattabate/life-distributable#230 ·
Los mantenedores suelen responder en 1 día
-
enhancement triage:not-checked
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
inventree/InvenTree#13318 · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
google/secops-wrapper#229 ·