ARC runners did not recover automatically after Github Outage
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 38/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- github-actions, go, helm, kubernetes
- Lĩnh vực
- ci-cd, devops, infrastructure
Hướng nghiên cứu
Bắt đầu bằng cách đọc luồng của EphemeralRunnerReconciler và các log controller và runner liên quan, tập trung vào các lỗi đăng ký và backoff của BrokerServer sau khi GitHub khôi phục. Theo dõi cách các EphemeralRunners đang chạy hiện được giám sát và cách có thể quan sát tính hợp lệ của đăng ký. Hoàn thành khi phát hiện các đăng ký GitHub không hợp lệ, các runner bị ảnh hưởng được dọn dẹp và cấp phát lại, đồng thời hành vi khôi phục có kiểm thử bao phủ.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Checks
- I've already read https://docs.github.com/en/actions/hosting-your-own-runners/managing-self-hosted-runners-with-actions-runner-controller/troubleshooting-actions-runner-controller-errors and I'm sure my issue is not covered in the troubleshooting guide.
- I am using charts that are officially provided
Controller Version
0.13.1
Deployment Method
Helm
Checks
- This isn't a question or user support case (For Q&A and community support, go to Discussions).
- I've read the Changelog before submitting this issue and I'm sure it's not due to any recently-introduced backward-incompatible changes
To Reproduce
This is not reproducible directly as it is the byproduct of an incident.
see https://www.githubstatus.com/incidents/g9j4tmfqdd09
Describe the bug
During the GitHub Actions degraded availability incident on 2026-03-05 githubstatus.com/incidents/g9j4tmfqdd09), our ARC deployment experienced runners that became stuck in a bad state and were not automatically recovered after GitHub's services came back online.
These runners were registered before the incident, lost their registration during GitHub's degradation, and ARC never reconciled them back to a healthy state.
This was resolved by manually deleting all of the stuck ARC runner pods.
Describe the expected behavior
ARC has no garbage collection loop that reconciles GitHub-side runner registrations against actual Kubernetes pod state. The EphemeralRunnerReconciler only handles the forward path (create secret -> create pod -> monitor pod). It does not:
- Periodically verify that a runner's GitHub registration is still valid
- Detect runners whose registration was invalidated by a GitHub-side incident
- Clean up and re-provision runners that are running but no longer recognized by GitHub
I suggest that we should add periodic health check to the EphemeralRunnerReconciler that verifies the GitHub-side registration is still valid for running EphemeralRunners.
Additional Context
1. GitHub's `api.github.com/actions/runner-registration` endpoint became unavailable.
2. The ARC `EphemeralRunnerReconciler` failed to generate JIT configs for new runners, retrying 5 times with backoff before giving up.
3. Already-running runners lost their registrations on the GitHub side (`Registration <uuid> was not found`).
4. Runner pods entered `BrokerServer` backoff loops, unable to communicate with `broker.actions.githubusercontent.com`.
5. **After GitHub recovered at ~23:55 UTC, errors and backoff warnings continued until at least 00:17 UTC** — over 20 minutes of lingering failures. Runners that were mid-registration during the incident remained in a bad state with no automatic recovery.
Controller Logs
related logs:
https://gist.github.com/rob-howie-depop/27b15fd387ffc5f8f36e838614ffefc0
Runner Pod Logs
related logs:
https://gist.github.com/rob-howie-depop/27b15fd387ffc5f8f36e838614ffefc0
- Ngôn ngữ chính
- Go
- Star
- 6.7k
- Fork
- 1.5k
- Merge trung bình
- 1 giờ 34 phút
- Pull request đã merge (30 ngày)
- 5
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của actions/actions-runner-controller
-
community enhancement needs triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
actions/actions-runner-controller#3997 · 9 bình luận · 27 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Surface the Outdated phase, and tell a runner version deprecation apart from a rejected specĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
actions/actions-runner-controller#4739 · 1 bình luận · 4 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
gha-runner-scale-set: support Google Cloud Secret Manager as a vault for GitHub credentialsCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mởcommunity enhancement needs triage
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100
actions/actions-runner-controller#4737 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Controller upgrade cancels jobs that started shortly before their runner set is deletedCó thể làm lại được @ankit373 đã nhận 9 ngày trước và không có pull request nào đang mở. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
actions/actions-runner-controller#4736 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
EphemeralRunnerSet controller creates more runners than `spec.replicas` when its cache lags its own createsCó thể đã có người làm @jia-pylon đã nhận 14 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
actions/actions-runner-controller#4734 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của actions/actions-runner-controller
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Maintainer thường phản hồi trong vòng 1 ngày
-
progress-deadline annotation accepts "0s" although validation says it must be positiveCó thể đã có người làm @BahaaMattar đã nhận hôm nay. Đang mởarea/API kind/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Maintainer thường phản hồi trong vòng 1 ngày
-
api cleanup
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 86/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
router-for-me/CLIProxyAPI#7708 ·
Maintainer thường phản hồi trong vòng 1 ngày