Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Add deploying ingestion specs from custom resources

Abierto
#226 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
kubernetes, rust
Área
data-engineering, infrastructure

Línea de trabajo

Comienza con el issue relacionado #168 y, a continuación, inspecciona la CRD y los puntos de entrada del controlador del operador; aquí no se identifican nombres de archivo ni pruebas. Antes de la implementación, aclara cómo se asignan a Druid las especificaciones de ingestion, las referencias a ConfigMap/PVC y cada comportamiento ante fallos. Se considera terminado cuando el operador puede aprovisionar los recursos CRD de solo lectura especificados con las opciones de fallo documentadas.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Implementation ticket for #168

The Druid operator should be extended to be able to deploy ingestion specs from definitions provided in CRDs.

Ingestion specs can be defined by the user via a customresource, which is watched by a controller in the Druid operator that then provisions these specs.

The crd will contain at least the following:

  • type of source (stream, flat file, ...)
  • failure behavior
    • none
    • retry
    • delete and retry
  • specification of the ingest job
    • inline
    • reference to configmap
    • reference to pvc (or file therein)

These objects will initially be considered read-only, so changes to them will not be propagated to Druid by the controller.

The initial implementation will not be a perfect ingestion task management solution, but rather a first attempt to offer something useful to our users.
The user needs to decide themselves what the appropriate failure behavior is for the spec they provide to the operator, whether duplicate data might be created by retrying etc.
The defined failure options should offer simple solutions for all scenarios:

  • task is too complex -> none , the user will investigate themselves
  • no duplicates expected -> retry , task is idempotent and can be retried
  • duplicates possible -> delete and retry , not idempotent, to be on the safe side delete the target before retrying
Lenguaje dominante
Rust
Estrellas
12
Forks
1
Merge medio
1 d 17 h
PR fusionados (30 d)
10

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de stackabletech/druid-operator

Todos los issues de stackabletech/druid-operator

Issues similares

Más issues de Rust

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.