GLiClass: large separate-label-group requests can wait minutes in the queue under mixed load

Abierto
#390 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
18/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
python
Área
backend

Línea de trabajo

Start with how separate-group extract requests are split into rows and scheduled in the server's batcher and queue, which the issue does not name by file. Reproduce with mixed extract traffic at concurrency 16, including some 7–8 label-group requests over 20+ long items, and measure queue wait versus GPU time. Done means identifying where the wait occurs and whether a per-request timeout or cancellation reaches the caller.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Seen while benchmarking GLiClass (knowledgator/gliclass-large-v1.0) on one L4 with 16 requests in flight and mixed extract traffic: in each 4-minute window, 3 to 6 requests timed out at the client's 300 s limit.

All of them used separately encoded label groups (7 or 8 groups) over many long items. Their GPU work should take a few seconds, so the time seems to be spent waiting in the server's queue or batcher, not in inference. It happened the same way with CUDA graphs on (#389) and with the previous runner, so it is not graph-related.

To investigate:

  • How separate-group requests are split into rows and scheduled. Can a large multi-group request starve, or be starved behind, smaller requests? Is there a fairness or ordering issue in the batcher?
  • Whether any per-request timeout or cancellation surfaces the wait to the caller.
  • Reproduce: mixed extract traffic at concurrency 16, with some requests of 7 or 8 separate label groups over 20+ long items.
Lenguaje dominante
Python
Estrellas
3.5k
Forks
328
Merge medio
16 h 25 min
PR fusionados (30 d)
121

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de superlinked/sie

Todos los issues de superlinked/sie

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.