[Feature Request]: [Kafka/YAML] Turnkey Confluent Schema Registry Wire Format deserializer in ReadFromKafka

Đang mở
  • Có gì không ổn?
#41,225 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
java, kafka, python, yaml
Lĩnh vực
data-engineering, stream-processing

Hướng nghiên cứu

Start by reading the Python ReadFromKafka wrapper and the Java cross-language provider in standard_io.yaml, which the issue names as integration points. Check how those paths handle the existing raw bytes and JSON formats, then trace the Confluent wire format and Schema Registry requirements. Done means Avro and Protobuf records can be decoded from the schema ID header and exposed as Beam Schema Rows through the proposed YAML configuration.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Description

Consuming from Kafka topics serialized with Confluent Schema Registry (magic byte 0x00 + 4-byte schema ID) is a ubiquitous industry pattern.
Currently in Beam, consuming from Schema Registry requires writing custom Java deserializers or complex manual Python Avro decode steps. In Beam YAML, ReadFromKafka only natively supports raw bytes or JSON.

Proposed Architecture

Add first-class Schema Registry support directly in ReadFromKafka (both Python wrapper and Java cross-language provider in standard_io.yaml):

pipeline:
  transforms:
    - type: ReadFromKafka
      config:
        topic: orders
        bootstrap_servers: "kafka:9092"
        schema_registry: "http://schema-registry:8081"
        format: avro  # automatically resolves schema ID from wire format
Key Capabilities
  1. Wire Format Parsing: Parses Confluent wire format header (magic byte 0 + 4-byte Big-Endian schema ID).
  2. Schema Cache: Fetches and caches Avro/Protobuf schema definitions from Schema Registry by ID.
  3. Beam Schema Mapping: Automatically converts deserialized records to strongly-typed Beam Schema Row objects.
Ngôn ngữ chính
Java
Star
8.7k
Fork
4.8k
Merge trung bình
2 ngày 12 giờ
Pull request đã merge (30 ngày)
371

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/beam

Tất cả issue của apache/beam

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.