Figure out a way to test against constantly cycling Kafka cluster
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- ci-cd, distributed-systems, testing
Línea de trabajo
No se nombran archivos, pruebas ni puntos de entrada de CI. Empieza revisando las issues #1310 y #1306 y, después, examina la configuración existente de pruebas de Kafka y de release antes de decidir cómo ejecutar repetidas terminaciones de brokers, cambios de liderazgo y reinicios. Se considera terminado cuando una prueba repetible puede ejercitar esos fallos durante una ejecución extendida de validación de release.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
After recently hitting both #1310 and #1306 in production, I want to find a way to test kafka-python against a constantly cycling Kafka cluster.
Those problems are both race conditions that prevent kafka-python from successfully recovering when a broker is restarted. Unfortunately, unit tests rarely catch this, so I want to create a Kafka cluster that is constantly killing a broker, moving partition leadership to another broker, then restarting the killed broker, etc.
Ideally I'd run every new release for a couple of days against this before deploying it.
I can cobble something together with shell scripts and Docker, but wondered if anyone had better ideas?
I am not aware of a CI service that currently supports this model of running N number of cycles of cluster failures.
- Lenguaje dominante
- Python
- Estrellas
- 5.9k
- Forks
- 1.5k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de dpkp/kafka-python
-
Transactional producer's sender loops on AttributeError after a fatal error (2.2 and 2.3 branches)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
dpkp/kafka-python#3161 ·
-
StickyPartitionAssignor.assign() loops forever when members subscribe to different topicsPosiblemente ocupada @mstojcevich la tomó hace 10 días. Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 15/100
dpkp/kafka-python#3163 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 12/100
dpkp/kafka-python#3162 ·
-
Sender: KeyError from muted.remove() while expiring batches orphans the rest; flush() hangs foreverPosiblemente ocupada @zhechen-cs la tomó hace 9 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 76/100
dpkp/kafka-python#3159 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
dpkp/kafka-python#3122 · 13 comentarios ·
Todos los issues de dpkp/kafka-python
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
mihai-vlc/sublime-jsfmt#56 ·
-
comp/cli comp/plugins P2 type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
NousResearch/hermes-agent#141917 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Go device SDK: Whisper transcriber keeps buffering and transcribing audio appended after Stop()Posiblemente ocupada @apoorvdarshan la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
BasedHardware/omi#22770 ·
Los mantenedores suelen responder en 1 día
-
bug needs-acceptance wg/router-models-inference-runtime
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
vllm-project/semantic-router#5295 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
huggingface/huggingface_hub#5210 ·
Los mantenedores suelen responder en 1 día