Kafka Streams runner: splittable DoFn
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- java, kafka
调研方向
从 Kafka Streams runner 对已弃用的 Read 原语以及 ValidatesRunner 套件类别 UsesBoundedSplittableParDo 和 UsesUnboundedSplittableParDo 的转换开始。跟踪 runner 如何通过 Fn API 处理 restrictions、checkpointing、residuals 和 dynamic splitting。完成标准是两种类别都得到支持而不是被排除，并且适用于 bounded 和 unbounded splittable DoFns。
由索引模型根据 Issue 内容生成。
描述
The Kafka Streams runner does not support splittable DoFn, bounded or unbounded. Sources are read through the deprecated primitive Read, which the runner forces Read-based SDFs into during translation.
Supporting SDF means handling restrictions, checkpointing and residuals over the Fn API, along with dynamic splitting. The UsesBoundedSplittableParDo and UsesUnboundedSplittableParDo categories are excluded from the ValidatesRunner suite.
Part of #18479.
- 主要语言
- Java
- 星标
- 8.7k
- 派生
- 4.8k
- 平均合并
- 2 天 12 小时
- 30 天内合并 PR
- 371
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/beam 的其他 Issue
-
awaiting triage bug P3
难度 1/5 1 小时以内 新手友好度 67/100
维护者通常 1 天内回复
-
[Bug]: [Python] WriteToJson silently rounds floats to 10 decimal places可能已有人在做 @Abhi2939 于 2 天前认领。 未关闭io P2 python yaml
难度 2/5 1-3 小时 新手友好度 62/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
apache/beam#39624 · 2 个 reaction ·
维护者通常 1 天内回复
-
[Bug]: PubsubIO used in batch incorrect batch cutoff size可能已有人在做 @1fanwang 于 79 天前认领。 未关闭bug io P3 pinned pubsub
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
build P3 sub-task
难度 1/5 1 小时以内 新手友好度 68/100
维护者通常 1 天内回复
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 78/100
-
Type: Bug
难度 2/5 1-3 小时 新手友好度 83/100
MovingBlocks/Terasology#5415 ·
-
type: possible bug
难度 2/5 1-3 小时 新手友好度 66/100
-
难度 1/5 1 小时以内 新手友好度 80/100
itwanger/toBeBetterJavaer#218 ·
-
Markdown and Astro language servers do not start when the project path contains a non-ASCII character or a space可能已有人在做 @RoiSoleil 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
eclipse-wildwebdeveloper/wildwebdeveloper#2277 ·
维护者通常 1 天内回复