[Feature Request]: [Kafka/YAML] Turnkey Confluent Schema Registry Wire Format deserializer in ReadFromKafka

オープン
  • 何か問題がありますか？
#41,225 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
35/100
issue の種類
機能追加
明瞭さ
おおむね明確
活発さ
活発
技術スタック
java, kafka, python, yaml
領域
data-engineering, stream-processing

調査の方向性

Start by reading the Python ReadFromKafka wrapper and the Java cross-language provider in standard_io.yaml, which the issue names as integration points. Check how those paths handle the existing raw bytes and JSON formats, then trace the Confluent wire format and Schema Registry requirements. Done means Avro and Protobuf records can be decoded from the schema ID header and exposed as Beam Schema Rows through the proposed YAML configuration.

索引モデルが issue の本文から書いたものです。

説明

Description

Consuming from Kafka topics serialized with Confluent Schema Registry (magic byte 0x00 + 4-byte schema ID) is a ubiquitous industry pattern.
Currently in Beam, consuming from Schema Registry requires writing custom Java deserializers or complex manual Python Avro decode steps. In Beam YAML, ReadFromKafka only natively supports raw bytes or JSON.

Proposed Architecture

Add first-class Schema Registry support directly in ReadFromKafka (both Python wrapper and Java cross-language provider in standard_io.yaml):

pipeline:
  transforms:
    - type: ReadFromKafka
      config:
        topic: orders
        bootstrap_servers: "kafka:9092"
        schema_registry: "http://schema-registry:8081"
        format: avro  # automatically resolves schema ID from wire format
Key Capabilities
  1. Wire Format Parsing: Parses Confluent wire format header (magic byte 0 + 4-byte Big-Endian schema ID).
  2. Schema Cache: Fetches and caches Avro/Protobuf schema definitions from Schema Registry by ID.
  3. Beam Schema Mapping: Automatically converts deserialized records to strongly-typed Beam Schema Row objects.
主要言語
Java
スター
8.7k
フォーク
4.8k
平均マージ
2日 12時間
マージ済み PR（30日）
371

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

apache/beam のほかの issue

apache/beam の issue をすべて見る

似ている issue

Java の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。