CLI-3550: Confluent kafka link create is not providing feedback from config.txt that the tasks are in error and has no documentation on what is expected in the config.txt file.

Abierto
#3,072 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
35/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
go

Línea de trabajo

Comienza con la implementación y la documentación de Confluent CLI para confluent kafka link create, la gestión de --config y confluent kafka link task list. Reproduce el caso proporcionado de config.txt en v4.21.0 o en la versión actual; después, documenta los filtros requeridos de ACL, topic y consumer-group, y asegúrate de que los errores de configuración se muestren cuando se cree el link.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement

Confluent CLI is lacking documentation on how to pass through arguments for syncing consumer offsets, ACL's and auto creating mirror topics.


confluent kafka link create $LINK_NAME \

--cluster $DEST_CLUSTER_ID \

--source-cluster $SOURCE_CLUSTER_ID \

--source-bootstrap-server $BOOTSTRAP_ENDPOINT \

--source-api-key $API_KEY \

--source-api-secret $API_SECRET \

--destination-cluster $DEST_CLUSTER_ID \

--config config.txt

# config.txt: 
auto.create.mirror.topics.enable=true
consumer.offset.sync.enable=true
acl.sync.enable=true

This creates the cluster link and reports no errors in the cli but when checking the tasks on the link they're reporting status in_error:

confluent kafka link task list --link [link-name]

---------------------+----------+------------------------------------
  AclSync            | IN_ERROR | MISCONFIGURATION_ERROR: "ACL
                     |          | migration is enabled but
                     |          | acl.filters is not set. Please
                     |          | set acl.filters to proceed
                     |          | with ACL migration."
  AutoCreateMirror   | IN_ERROR | MISCONFIGURATION_ERROR:
                     |          | "auto.create.mirror.topics.enable
                     |          | is true but no topic filters
                     |          | are specified. No topics will be
                     |          | mirrored."
  ConsumerOffsetSync | IN_ERROR | MISCONFIGURATION_ERROR:
                     |          | "consumer.offset.sync.enable
                     |          | is true but no consumer
                     |          | group filters are specified.
                     |          | No consumer offsets will be
                     |          | migrated."
  TopicConfigsSync   | ACTIVE   |

There are no hints in the cli for what is expected here, there is no documentation that I can find to get consumer offsets ACL's to sync or auto-create mirror topics via the cli

If I hadn't caught this before my DR failover, consumers wouldn't know where to begin with processing.

this is on confluent version v4.21.0

to temporarily resolve this I was able to create the link in the UI.

Lenguaje dominante
Go
Estrellas
82
Forks
37
Merge medio
1 d 13 h
PR fusionados (30 d)
22

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de confluentinc/cli

Todos los issues de confluentinc/cli

Issues similares

Más issues de Go

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.