Dendrite could automatically clear power faults

Đang mở

#71 mở ngày 14/7/2025 0 bình luận 0 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 5 ngày

@bnaecker đang làm issue này rồi.

Từ ngày 14/7/2025.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

Originally reported by @bnaecker

While bringing up the next rack, we noticed that one transceiver was faulted, reporting power lost:

BRM27230053-switch # swadm sp xcvr ls
Port   State     Reset Interrupt Power  Power control Vendor           Part No.         Serial No.
qsfp0  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65A12X
qsfp1  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5NBW41
qsfp2  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5QA1LJ
qsfp3  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X57BJGF
qsfp4  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5MBDQ4
qsfp5  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5PB5JE
qsfp6  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X72B2BL
qsfp7  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5KBMCX
qsfp8  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X69BVNJ
qsfp9  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X52AC5S
qsfp10 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64A0GT
qsfp11 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X72AZ71
qsfp12 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64A1HF
qsfp13 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64BWFW
qsfp14 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5EBGDU
qsfp15 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5SB7J4
qsfp16 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65BPU1
qsfp17 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5DBJZT
qsfp18 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65B603
qsfp19 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5QAPG4
qsfp20 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5RA07S
qsfp21 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PALLC
qsfp22 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65AM09
qsfp23 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65BLFZ
qsfp24 faulted (PowerLost)
qsfp25 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X72B3LF
qsfp26 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X61ABER
qsfp27 supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5QAAJV
qsfp28 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PABV4
qsfp29 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5QB2MY
qsfp30 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65A14C
qsfp31 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PAQHE
BRM27230053-switch # xcvradm -i sidecar0 -t 24 vendor-info
Port Identifier               Vendor           Part             Rev  Serial           Mfg date
Some operations failed, errors below
Port Error
  24 Hardware error accessing module 24: FPGA reported an I2C error
BRM27230053-switch # xcvradm -i sidecar0 -t 24 status
Port Status
  24 PRESENT | ENABLED | LOW_POWER_MODE | INTERRUPT | FAULT_POWER_LOST
BRM27230053-switch #

@Aaron-Hartwig and I recalled that this fault is latched, so at some point we lost power and all downstream operations are destined to fail. We cleared the latch manually, and things started working fine:

BRM27230053-switch # xcvradm -i sidecar0 -t 24 clear-power-fault
BRM27230053-switch # xcvradm -i sidecar0 -t 24 status
Port Status
  24 PRESENT | ENABLED | LOW_POWER_MODE | INTERRUPT | POWER_GOOD
BRM27230053-switch #
BRM27230053-switch # xcvradm -i sidecar0 -t 24 vendor-info
Port Identifier               Vendor           Part             Rev  Serial           Mfg date
  24 QsfpPlusCmis (0x1e)      FINISAR CORP.    FTCC1112E2PCL    A    X5DA0P3          210901
BRM27230053-switch # swadm sp xcvr ls
Port   State     Reset Interrupt Power  Power control Vendor           Part No.         Serial No.
qsfp0  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65A12X
qsfp1  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5NBW41
qsfp2  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5QA1LJ
qsfp3  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X57BJGF
qsfp4  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5MBDQ4
qsfp5  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5PB5JE
qsfp6  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X72B2BL
qsfp7  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5KBMCX
qsfp8  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X69BVNJ
qsfp9  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X52AC5S
qsfp10 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64A0GT
qsfp11 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X72AZ71
qsfp12 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64A1HF
qsfp13 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64BWFW
qsfp14 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5EBGDU
qsfp15 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5SB7J4
qsfp16 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65BPU1
qsfp17 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5DBJZT
qsfp18 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65B603
qsfp19 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5QAPG4
qsfp20 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5RA07S
qsfp21 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PALLC
qsfp22 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65AM09
qsfp23 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65BLFZ
qsfp24 supported false true      low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5DA0P3
qsfp25 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X72B3LF
qsfp26 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X61ABER
qsfp27 supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5QAAJV
qsfp28 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PABV4
qsfp29 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5QB2MY
qsfp30 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65A14C
qsfp31 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PAQHE

This is a pretty bad failure mode, because there is no way to automatically recover from this, requiring operator intervention. Even if the module's power is actually fine, it cannot work until the fault is cleared. Dendrite should consider doing this automatically. During its transceiver monitoring loop, it could note any modules with a power fault and clear that, up to some number of attempts. Should we decide to do this, it needs to be logged, and ideally we'd have a way to control this disposition through the API.

Ngôn ngữ chính: Rust
Star: 20
Fork: 3
Merge trung bình: 8 giờ 29 phút
Pull request đã merge (30 ngày): 2

Chuẩn bị môi trường

Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
Fork repository và làm thay đổi trên một nhánh.
Mở pull request có tham chiếu số hiệu của issue.

Issue khác của oxidecomputer/dendrite

Inverted logic for assigning DHCPv6 addresses to techports works by accident
Đang mở
- Có gì không ổn?
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100

oxidecomputer/dendrite#380 · Mở ngày 26/9/2026

Maintainer thường phản hồi trong vòng 5 ngày
Deleting a link shouldn't fail if the transceiver isn't present
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

oxidecomputer/dendrite#375 · Mở ngày 23/9/2026

Maintainer thường phản hồi trong vòng 5 ngày
Revisiting `reset_all` and `reset_all_tagged`
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

oxidecomputer/dendrite#369 · Mở ngày 3/9/2026

Maintainer thường phản hồi trong vòng 5 ngày
Include `tools` dir in shellcheck CI
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 58/100

oxidecomputer/dendrite#368 · Mở ngày 3/9/2026

Maintainer thường phản hồi trong vòng 5 ngày
Oximeter types probably shouldn't be in the Dendrite API
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100

oxidecomputer/dendrite#359 · 1 bình luận · Mở ngày 31/8/2026

Maintainer thường phản hồi trong vòng 5 ngày

Tất cả issue của oxidecomputer/dendrite

Issue tương tự

caseworkctl public_jwks test can fail when another test takes its port
Đang mở
- Có gì không ổn?
area:casework bug criticality:p3 triage:needs-implementation

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100

registrystack/registry-stack#1623 · Mở ngày 27/9/2026

Maintainer thường phản hồi trong vòng 1 ngày
Possible missing of `scene.reset()` in the early return ?
Đang mở
- Có gì không ổn?
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100

DioxusLabs/anyrender#98 · Mở ngày 27/9/2026
Streaming SSR does not HTML-escape text nodes in 0.6.x (stored XSS)
Đang mở
- Có gì không ổn?
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100

leptos-rs/leptos#4885 · 1 bình luận · Mở ngày 27/9/2026

Maintainer thường phản hồi trong vòng 1 ngày
server reload exits 0 when the new server never becomes ready
Đang mở
- Có gì không ổn?
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100

1jehuang/jcode#1535 · Mở ngày 27/9/2026

Maintainer thường phản hồi trong vòng 1 ngày
Select: truncate overflowing option labels with ellipsis
Đang mở
- Có gì không ổn?
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100

longbridge/gpui-kit#3276 · Mở ngày 27/9/2026

Maintainer thường phản hồi trong vòng 1 ngày

Thêm issue về Rust

Dendrite could automatically clear power faults

Có gì không ổn?

Đánh giá

Mô tả

Chuẩn bị môi trường

Bắt đầu từ đâu

Issue khác của oxidecomputer/dendrite

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Issue tương tự

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Nhận issue mới trong hộp thư của bạn