Parsely/pykafka

Support rdkafka with gevent

Open

#446 aperta il 5 feb 2016

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (231 fork)batch import
enhancementgeventhelp wanted

Metriche repository

Star
 (1114 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

As proven by libraries like psycopg2 it is possible to provide a way to integrate a C extension with gevent. This may or may not require cooperation on librdkafka's part but will provide a lot of value in terms of throughput and concurrency. Let's investigate on what's required in order to enable gevent support even with the C extension enabled.

Guida contributor

Direzione di ricerca
Indaga come psycopg2 integra gevent con le estensioni C e applica un approccio simile a librdkafka. Esamina il modello di threading di librdkafka e identifica le chiamate bloccanti che devono essere rese gevent friendly.
Tech stack
python
Dominio
backendapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonlibrdkafkagevent
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60