Silent fail / exit with streamz >= 0.4.0 when pipeline is being run in a daemon process

Aperta
#212 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
elasticsearch, kafka, python
Ambito
data-engineering, stream-processing

Direzione di ricerca

Reproduce the pipeline under python-daemon while comparing streamz 0.3.0 and 0.4.0, using Kafka input and Elasticsearch output. Investigate whether the Tornado processes introduced in later versions cause the daemon to stop after its first message. Done means the daemon continues processing messages and exposes an error if processing fails.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

I've been using streamz to consume events from kafka. For that I built a pipeline which I run in a daemon process, managed by the python daemon package (https://pypi.org/project/python-daemon/). The pipeline ultimately writes to some elasticsearch instance.

This worked great with streamz version 0.3.0 with which I started developing.
Now I wanted to update to v0.5.0 and discovered that while I can still perfectly run the streamz pipeline in the current python process, the daemon running the pipeline suddenly stops without any further detectable error in the pipeline itself after consuming the first message. I downgraded to v0.4.0, then v0.3.0 and observed that the fail is introduced by the 0.3.0 -> 0.4.0 step.

Does anybody has an idea what introduced the problem at hand?
Is there an easy way to fix the issue with the later versions?

.. I somehow suspect that it has something to do with the tornado processes started ..?

Lingua principale
Python
Stelle
1.3k
Fork
149
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di python-streamz/streamz

Tutte le issue di python-streamz/streamz

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.