希望flinkStreamSQL 1.10的Kafka数据源可以像flink原生版一样支持group-offsets模式

Đang mở
#354 6 bình luận 5 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
java, kafka, sql
Lĩnh vực
stream-processing

Hướng nghiên cứu

Issue không nêu tên tệp, test hay entry point nào. Hãy bắt đầu bằng việc xác định cấu hình Kafka source của FlinkStreamSQL 1.10 và cách xử lý offset-mode của nó, sau đó so sánh với hành vi group-offsets của Flink; công việc được xem là hoàn tất khi một groupId đã cấu hình tiếp tục từ các group offsets đã commit, đồng thời vẫn giữ hành vi latest hoặc earliest ban đầu cho một group mới.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

flinkStreamSQL 1.10的Kafka数据源不支持group-offsets模式，Flink原生版支持的。 在实际应用中，最常用的就是这个模式，Flink原生版本只要设置了groupId， 即使是latest和earlist两种offset模式, 也只是在groupId有新值时，从最新或者最初始开始读，其后就是按照group-offsets来读取的，这样就可以保证任务重启后，准确地衔接上。 希望大佬们可以让flinkStreamSQL 也支持group-offset模式。

Ngôn ngữ chính
Java
Star
2k
Fork
913
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của DTStack/flinkStreamSQL

Tất cả issue của DTStack/flinkStreamSQL

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.