[Feature Request]: [Kafka/YAML] Turnkey Confluent Schema Registry Wire Format deserializer in ReadFromKafka

Ouverte
  • Quelque chose ne va pas ?
#41,225 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
35/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Active
Stack technique
java, kafka, python, yaml
Domaine
data-engineering, stream-processing

Piste de recherche

Start by reading the Python ReadFromKafka wrapper and the Java cross-language provider in standard_io.yaml, which the issue names as integration points. Check how those paths handle the existing raw bytes and JSON formats, then trace the Confluent wire format and Schema Registry requirements. Done means Avro and Protobuf records can be decoded from the schema ID header and exposed as Beam Schema Rows through the proposed YAML configuration.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Description

Consuming from Kafka topics serialized with Confluent Schema Registry (magic byte 0x00 + 4-byte schema ID) is a ubiquitous industry pattern.
Currently in Beam, consuming from Schema Registry requires writing custom Java deserializers or complex manual Python Avro decode steps. In Beam YAML, ReadFromKafka only natively supports raw bytes or JSON.

Proposed Architecture

Add first-class Schema Registry support directly in ReadFromKafka (both Python wrapper and Java cross-language provider in standard_io.yaml):

pipeline:
  transforms:
    - type: ReadFromKafka
      config:
        topic: orders
        bootstrap_servers: "kafka:9092"
        schema_registry: "http://schema-registry:8081"
        format: avro  # automatically resolves schema ID from wire format
Key Capabilities
  1. Wire Format Parsing: Parses Confluent wire format header (magic byte 0 + 4-byte Big-Endian schema ID).
  2. Schema Cache: Fetches and caches Avro/Protobuf schema definitions from Schema Registry by ID.
  3. Beam Schema Mapping: Automatically converts deserialized records to strongly-typed Beam Schema Row objects.
Langage dominant
Java
Étoiles
8.7k
Forks
4.8k
Merge moyen
2 j 12 h
PR mergées (30 j)
371

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/beam

Toutes les issues de apache/beam

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.