Kafka Streams runner: expose topic-level configuration for runner-created topics
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 48/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- java, kafka
- Lĩnh vực
- stream-processing
Hướng nghiên cứu
Bắt đầu với Kafka Streams runner và cách nó xử lý các topic bootstrap và repartition do runner tạo ra cho Impulse, Read và GroupByKey. Xem xét các tùy chọn pipeline hiện có --internalParallelism và replication-factor, sau đó so sánh cách tiếp cận JSON topic-config và cách tiếp cận tùy chọn riêng được thảo luận trong PR 39546. Hoàn thành có nghĩa là các thiết lập được hỗ trợ ở cấp topic được cung cấp và áp dụng cho các topic nội bộ đó, với các bài kiểm thử bao quát cấu hình.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Summary
The Kafka Streams runner creates its own internal topics (a bootstrap topic per Impulse and Read, a repartition topic per GroupByKey). Today only the partition count (--internalParallelism) and replication factor are configurable.
A user should be able to set the rest of the topic-level configuration — retention, compaction, segment settings, min.insync.replicas and so on. Two options discussed on https://github.com/apache/beam/pull/39546: pass a JSON-serialized dictionary of topic configs, and/or expose the most common ones as separate pipeline options.
Part of #18479.
- Ngôn ngữ chính
- Java
- Star
- 8.7k
- Fork
- 4.7k
- Merge trung bình
- 2 ngày 6 giờ
- Pull request đã merge (30 ngày)
- 301
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/beam
-
[Feature Request]: Support Protobuf 7.x in Python SDKCó thể đã có người làm @sofiathoren đã nhận 11 ngày trước. Đang mởP2 python
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
apache/beam#39624 · 2 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: PubsubIO used in batch incorrect batch cutoff sizeCó thể đã có người làm @1fanwang đã nhận 60 ngày trước. Đang mởbug io P3 pinned pubsub
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
apache/beam#28011 · 4 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
build P3 sub-task
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bug gcp io java P3
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 65/100
Maintainer thường phản hồi trong vòng 1 ngày
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
521xueweihan/HelloGitHub#4105 ·
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 1 ngày
-
code-maintenance
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
krizaka/krizaka-notifications#32 ·
Maintainer thường phản hồi trong vòng 1 ngày