增大并行度后ALL模式维表缓存带来的数据库连接及内存压力
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- databases, performance, stream-processing
Hướng nghiên cứu
Bắt đầu bằng cách tìm cache bảng chiều ở chế độ ALL được triển khai bằng flatMap, sau đó theo dõi cách tính song song của SQL khiến mỗi tác vụ song song tải dữ liệu chiều. Điều tra hành vi làm mới theo lịch hiện có và cách các task manager và slot được biểu diễn. Được xem là hoàn tất khi mỗi task manager tải một bản sao và các lần làm mới vẫn tiếp tục hoạt động mà không làm cạn kiệt các kết nối cơ sở dữ liệu hoặc gây sử dụng bộ nhớ quá mức.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
源码中ALL模式维表缓存是个flatMap操作，当任务数据量和计算压力增大后，增大SQL的并行度，每个并行度都会去维表中加载数据，这样一个是容易出现把维表连接打满的情况，另一个就是带来不小的内存开销。
因为存在定时更新数据，广播可能不太好做，能否实现一个taskmanager只加载一份维表数据，而不是每个slot都去加载一遍
- Ngôn ngữ chính
- Java
- Star
- 2k
- Fork
- 913
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của DTStack/flinkStreamSQL
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
DTStack/flinkStreamSQL#467 · 1 bình luận ·
-
这个如何引入使用flink-connector-hive啊 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
DTStack/flinkStreamSQL#437 · 3 bình luận ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 38/100
DTStack/flinkStreamSQL#432 · 1 bình luận ·
-
新版FlinkStreamSQL已经融合进FlinkX项目 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
DTStack/flinkStreamSQL#431 ·
-
有无对sql 语法校验的方法 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
DTStack/flinkStreamSQL#430 · 1 bình luận ·
Tất cả issue của DTStack/flinkStreamSQL
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
elastic/gradle-plugins#157 ·
-
enhancement Tools
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
apache/rocketmq-dashboard#5008 ·
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
DETECT_PARAMETER_NAMES=false silently disables @ConstructorProperties-based Creator detection too Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
FasterXML/jackson-databind#6229 ·