WAGED Instance Capacity NPE prevents topstate handoff during rebalance failures

Đang mở
  • Có gì không ổn?
#3,009 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
java
Lĩnh vực
distributed-systems

Hướng nghiên cứu

Bắt đầu bằng cách truy vết bestPossibleCalcStage của WAGED trong các lỗi rebalance, tập trung vào cách assignment tốt nhất trước đó được kiểm tra với instanceCapacityMap sau khi một instance bị xóa. Tái hiện chuỗi này bằng cách gây ra các lỗi rebalance vượt quá capacity, xóa một instance và đưa một node xuống. Được xem là hoàn thành khi các trạng thái partition vẫn được tính toán và handoff topState diễn ra mà không có NPE.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug
Describe the bug

During rebalance failures, topState handoff will still occur among nodes that already have assigned replicas. This is because WAGED leverages the the previous best possible assignment when calculating the best possible partition state. However, if the cluster is in a state of rebalance failures and a node is removed, then WAGED will look at the previous best possible which contains an instance that is no longer in the cluster. This stale instance will trigger an NPE when we attempt to check its instance capacity as it no longer exists in the instanceCapacityMap. NPEs are part of the failure_type_to_propagate which cause the bestPossibleCalcStage to fully crash, meaning we do not calculate new states based on the previous assignment so no topState handoff will occur. This can cause a partition to go leaderless until rebalance failures are fixed and a new best possible is generated.

To Reproduce
  1. Trigger waged rebalance failures
    a. This can be done by adding more resources than can be assigned for cluster's capacity
  2. Remove an instance from the cluster
  3. Next time a node goes down, topState handoff will not occur
Expected behavior

Partition states are still calculated during rebalance failures using the old assignment so that top state handoff can still occur

Ngôn ngữ chính
Java
Star
505
Fork
258
Merge trung bình
4 ngày 20 giờ
Pull request đã merge (30 ngày)
3

Chuẩn bị môi trường

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/helix

Tất cả issue của apache/helix

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.