Backpressure when queue is full

Abierto

#146 abierto el 26/11/2024 1 comentario 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad: 5/5
Tiempo estimado: Más de una semana
Aptitud para principiantes: 35/100

Tipo de issue: Nueva funcionalidad
Claridad: Necesita aclaración
Estado de actividad: Tranquilo
Stack tecnológico: python
Área: backend, data

Línea de trabajo

No se nombra ningún archivo, prueba ni punto de entrada. Empieza rastreando cómo flush_interval, flush_at y max_queue_size controlan la entrega de eventos y, después, aclara si el comportamiento previsto es bloquearse cuando la cola está llena o exponer su tamaño. El trabajo terminado debe incluir un comportamiento definido cuando la cola está llena y cobertura para el caso de pérdida de eventos informado.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement

We uncovered a case where a key customer was losing events due to the way this library is configured/built.

With the flush_interval=2 (default is 0.5), flush_at=100 and max_queue_size=1000 (default 10k), their queue got full during peak hours and they started dropping events.

Their recommended solution is very reasonable:

Ideally the library would provide back pressure by blocking/waiting for acknowledgement when flushing a batch of events vs having to configure a max_queue_size.

We should implement some way to block when the queue is full, or some way to let the user know the queue size.