apache/beam

[Task]: Go SDK portable logical type support

Aperta

#39.684 aperta il 7 ago 2026

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (1 assegnatario)Java (4097 fork)batch import
P2gogood first issuetask

Metriche repository

Star
 (7313 stelle)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

What needs to happen?

Logical types defined in https://github.com/apache/beam/blob/master/model/pipeline/src/main/proto/org/apache/beam/model/pipeline/v1/schema.proto are not supported in Go SDK. This prevents Go SDK to use schema transforms in a meaningful way.

Currently, only PYTHON_CALLABLE appear to be supported,

https://github.com/apache/beam/blob/1318bfe2039aa3d5b421bf1f23f9fcc338916750/sdks/go/pkg/beam/transforms/xlang/python/external.go#L42

however, through a different mechanism. Likely we need to first implement a framework for portable logical types in Golang, then implement each of them

Issue Priority

Priority: 2 (default / most normal work should be filed as P2)

Issue Components

  • Component: Python SDK
  • Component: Java SDK
  • Component: Go SDK
  • Component: Typescript SDK
  • Component: IO connector
  • Component: Beam YAML
  • Component: Beam examples
  • Component: Beam playground
  • Component: Beam katas
  • Component: Website
  • Component: Infrastructure
  • Component: Spark Runner
  • Component: Flink Runner
  • Component: Prism Runner
  • Component: Twister2 Runner
  • Component: Hazelcast Jet Runner
  • Component: Google Cloud Dataflow Runner

Guida contributor

Direzione di ricerca
Studia la definizione dei tipi logici in schema.proto di Beam, esamina come Go SDK gestisce attualmente schema e trasformazioni, esamina le implementazioni in altri SDK come riferimento e proponi un design per introdurre un framework di tipi logici in Go SDK.
Tech stack
go
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GoProtocol BuffersGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35