Kafka Streams runner: expose topic-level configuration for runner-created topics
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 48/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- java, kafka
- Área
- stream-processing
Línea de trabajo
Comienza con el Kafka Streams runner y su gestión de los topics de bootstrap y repartition creados por el runner para Impulse, Read y GroupByKey. Revisa las opciones de pipeline existentes --internalParallelism y replication-factor y, después, compara los enfoques de JSON topic-config y de opciones independientes tratados en PR 39546. Se considera terminado cuando las configuraciones admitidas a nivel de topic estén expuestas y se apliquen a esos topics internos, con pruebas que cubran la configuración.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Summary
The Kafka Streams runner creates its own internal topics (a bootstrap topic per Impulse and Read, a repartition topic per GroupByKey). Today only the partition count (--internalParallelism) and replication factor are configurable.
A user should be able to set the rest of the topic-level configuration — retention, compaction, segment settings, min.insync.replicas and so on. Two options discussed on https://github.com/apache/beam/pull/39546: pass a JSON-serialized dictionary of topic configs, and/or expose the most common ones as separate pipeline options.
Part of #18479.
- Lenguaje dominante
- Java
- Estrellas
- 8.7k
- Forks
- 4.7k
- Merge medio
- 2 d 8 h
- PR fusionados (30 d)
- 307
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/beam
-
[Feature Request]: Support Protobuf 7.x in Python SDKPosiblemente ocupada @sofiathoren la tomó hace 8 días. AbiertoP2 python
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
apache/beam#39624 · 2 reacciones ·
Los mantenedores suelen responder en 1 día
-
[Bug]: PubsubIO used in batch incorrect batch cutoff sizePosiblemente ocupada @1fanwang la tomó hace 58 días. Abiertobug io P3 pinned pubsub
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/beam#28011 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
-
build P3 sub-task
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
bug gcp io java P3
Dificultad 1/5 Menos de una hora Aptitud para principiantes 65/100
Los mantenedores suelen responder en 1 día
Todos los issues de apache/beam
Issues similares
-
[GLOBAL] Advancement resetAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
Vakore/ZappierGames#184 ·
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
lugassawan/swe-workbench#823 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
cassiancc/Raspberry-Core#69 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
IronCoreLabs/ironcore-alloy#351 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
checkstyle/checkstyle#22145 ·
Los mantenedores suelen responder en 1 día