xds: duplicate endpoint addresses across localities are ACKed and can panic outlier detection
Maintainer thường phản hồi trong vòng 1 ngày
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- Nửa ngày
- Mức phù hợp với người mới
- 45/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- java
- Lĩnh vực
- distributed-systems
Hướng nghiên cứu
Start in xds/src/main/java/io/grpc/xds/XdsEndpointResource.java, where the ClusterLoadAssignment locality entries are parsed into an EdsUpdate, and check every endpoint address across all localities and priorities before the update is returned. Throw ResourceInvalidException on a duplicate IP:port so the existing NACK and last-good-resource path handles it. Done when the attached eds-invalid.json is NACKed, eds-valid.json still ACKs, and the same IP with a different port is still accepted.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
What version of gRPC-Java are you using?
1.71.0 and 1.83.1. Both accept the invalid EDS resource described below. The outlier-detection scenario reproduces a NullPointerException/Panic on both versions.
What is your environment?
Reproduced in a local integration test on macOS 26.2 arm64, JDK 26.0.1 (Java 17 target), using grpc-netty, grpc-xds, a local ADS server and a unary gRPC backend. The control plane uses SotW ADS v3 and the cluster uses EDS, LEAST_REQUEST and outlier detection.
What did you expect to see?
NACK the ClusterLoadAssignment containing the same endpoint IP:port in different localities. Retain the last accepted configuration and accepted version_info, keep serving RPCs, and continue processing subsequent EDS updates. On a cold start with invalid EDS, do not route RPCs until a valid configuration arrives.
This is the behavior verified with grpc-go 1.83.2.
What did you see instead?
grpc-java ACKs the invalid resource. If the endpoint is already ejected by outlier detection, adding the second locality can trigger a NullPointerException in OutlierDetectionLoadBalancer.OutlierDetectionSubchannel.eject because subchannelStateListener is null. The ManagedChannel enters INTERNAL: Panic! This is a bug!
The attached stack is from grpc-java 1.83.1. This is not the duplicate-locality-within-one-priority case fixed by https://github.com/grpc/grpc-java/pull/9119: the locality IDs here are different; the endpoint socket address is the same.
Steps to reproduce the bug
- Start a local unary gRPC backend on 127.0.0.1:1234 and an ADS server serving LDS/CDS/EDS for an EDS cluster with LEAST_REQUEST and outlier detection.
- Publish eds-valid.json as version 1 and wait for its ACK and successful RPCs.
- Make the backend return UNAVAILABLE until outlier detection ejects it; then make it healthy again. The test uses interval=0.1s, baseEjectionTime=2s, maxEjectionTime=2s, maxEjectionPercent=100, enforcingSuccessRate=0, enforcingFailurePercentage=100, failurePercentageThreshold=30, failurePercentageMinimumHosts=1 and failurePercentageRequestVolume=1.
- While the endpoint is still ejected, publish eds-invalid.json as version 2. Observe ACK instead of NACK and the NPE/Panic stack.
- Repeat invalid EDS updates, then roll back to valid EDS. The invalid configuration should never have reached the load balancer or poisoned the channel.
The simpler validation failure does not require backend failures or outlier detection: publish eds-invalid.json after a healthy version 1 and observe ACK instead of NACK. Publishing invalid EDS on cold start also incorrectly permits successful RPCs.
Potential fix
Validate uniqueness of endpoint addresses while parsing all original ClusterLoadAssignment locality entries, before exposing an EdsUpdate to load balancing. Do not validate only the locality-keyed output map: repeated locality IDs in different priorities can overwrite entries in that map. Throw ResourceInvalidException for duplicate IP:port, using the normal NACK/last-good-resource path. The same IP with a different port must remain valid.
Relevant implementation
https://github.com/grpc/grpc-java/blob/v1.83.1/xds/src/main/java/io/grpc/xds/XdsEndpointResource.java
https://github.com/grpc/grpc-go/blob/v1.83.2/internal/xds/xdsclient/xdsresource/unmarshal_eds.go
- Ngôn ngữ chính
- Java
- Star
- 12.1k
- Fork
- 4k
- Merge trung bình
- 2 ngày 9 giờ
- Pull request đã merge (30 ngày)
- 44
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của grpc/grpc-java
-
channelz: ServerData `calls_failed` counter not incremented upon client cancellationCó thể đã có người làm @JoeCqupt đã nhận 7 ngày trước. Đang mởenhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
grpc/grpc-java#13063 · 4 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Support of `dns:name` URIsĐang mởdocs enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
grpc/grpc-java#10824 · 8 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100
grpc/grpc-java#13137 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
question
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
Maintainer thường phản hồi trong vòng 1 ngày
-
binder: `ServerStream.close()` marks the stream closed before the suffix is sent, so a flow-control-deferred send failure leaks the callCó thể đã có người làm @kkmurthyt21 đã nhận 9 ngày trước. Đang mởbug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
grpc/grpc-java#13097 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của grpc/grpc-java
Issue tương tự
-
dev/release: verify-release-candidate.sh runs 0 Java tests with Debian's MavenCó thể đã có người làm @kou đã nhận hôm nay. Đang mởType: bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
apache/arrow-adbc#4947 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
checkstyle/checkstyle#22153 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 79/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Documentation Needs Triage
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
frankframework/frankframework#11908 ·
Maintainer thường phản hồi trong vòng 1 ngày