How to keep some sort of ordering between joined streams?

Abierto
#155 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
kafka, python
Área
stream-processing

Línea de trabajo

Start by reading the combine_latest behavior and the Kafka stream handling described in the issue. Determine how bounded skew and a temporarily unavailable source should affect emissions; done requires an agreed design and tests for delayed and stopped streams.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Say I have two source streams on kafka, one updating at 1 message per second, and one updating at 5 messages per second. I am using a combine_latest to join the streams. What would be the most appropriate way to not allow the streams to get more than ~10s out of sync? I effectively want to push futures back up one stream, blocking until more data arrives on the second.

Or in another scenario, suppose one of the sources dies temporarily. I really would like to be able to hault any more emits until the source comes back to life.

Lenguaje dominante
Python
Estrellas
1.3k
Forks
149
Sin PR fusionados en 30 d

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de python-streamz/streamz

Todos los issues de python-streamz/streamz

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.