Dendrite could automatically clear power faults

オープン

#71 2025年7月14日に作成コメント 0 件リアクション 0 件担当者 1 名 GitHub で見る

メンテナーはふだん 5 日以内に返信

@bnaecker がすでに取り組んでいます。

2025年7月14日から。

評価

この issue はまだ評価されていません。

説明

Originally reported by @bnaecker

While bringing up the next rack, we noticed that one transceiver was faulted, reporting power lost:

BRM27230053-switch # swadm sp xcvr ls
Port   State     Reset Interrupt Power  Power control Vendor           Part No.         Serial No.
qsfp0  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65A12X
qsfp1  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5NBW41
qsfp2  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5QA1LJ
qsfp3  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X57BJGF
qsfp4  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5MBDQ4
qsfp5  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5PB5JE
qsfp6  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X72B2BL
qsfp7  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5KBMCX
qsfp8  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X69BVNJ
qsfp9  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X52AC5S
qsfp10 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64A0GT
qsfp11 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X72AZ71
qsfp12 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64A1HF
qsfp13 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64BWFW
qsfp14 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5EBGDU
qsfp15 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5SB7J4
qsfp16 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65BPU1
qsfp17 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5DBJZT
qsfp18 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65B603
qsfp19 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5QAPG4
qsfp20 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5RA07S
qsfp21 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PALLC
qsfp22 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65AM09
qsfp23 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65BLFZ
qsfp24 faulted (PowerLost)
qsfp25 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X72B3LF
qsfp26 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X61ABER
qsfp27 supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5QAAJV
qsfp28 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PABV4
qsfp29 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5QB2MY
qsfp30 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65A14C
qsfp31 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PAQHE
BRM27230053-switch # xcvradm -i sidecar0 -t 24 vendor-info
Port Identifier               Vendor           Part             Rev  Serial           Mfg date
Some operations failed, errors below
Port Error
  24 Hardware error accessing module 24: FPGA reported an I2C error
BRM27230053-switch # xcvradm -i sidecar0 -t 24 status
Port Status
  24 PRESENT | ENABLED | LOW_POWER_MODE | INTERRUPT | FAULT_POWER_LOST
BRM27230053-switch #

@Aaron-Hartwig and I recalled that this fault is latched, so at some point we lost power and all downstream operations are destined to fail. We cleared the latch manually, and things started working fine:

BRM27230053-switch # xcvradm -i sidecar0 -t 24 clear-power-fault
BRM27230053-switch # xcvradm -i sidecar0 -t 24 status
Port Status
  24 PRESENT | ENABLED | LOW_POWER_MODE | INTERRUPT | POWER_GOOD
BRM27230053-switch #
BRM27230053-switch # xcvradm -i sidecar0 -t 24 vendor-info
Port Identifier               Vendor           Part             Rev  Serial           Mfg date
  24 QsfpPlusCmis (0x1e)      FINISAR CORP.    FTCC1112E2PCL    A    X5DA0P3          210901
BRM27230053-switch # swadm sp xcvr ls
Port   State     Reset Interrupt Power  Power control Vendor           Part No.         Serial No.
qsfp0  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65A12X
qsfp1  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5NBW41
qsfp2  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5QA1LJ
qsfp3  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X57BJGF
qsfp4  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5MBDQ4
qsfp5  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5PB5JE
qsfp6  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X72B2BL
qsfp7  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5KBMCX
qsfp8  supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X69BVNJ
qsfp9  supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X52AC5S
qsfp10 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64A0GT
qsfp11 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X72AZ71
qsfp12 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64A1HF
qsfp13 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X64BWFW
qsfp14 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5EBGDU
qsfp15 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5SB7J4
qsfp16 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65BPU1
qsfp17 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5DBJZT
qsfp18 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65B603
qsfp19 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5QAPG4
qsfp20 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5RA07S
qsfp21 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PALLC
qsfp22 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65AM09
qsfp23 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65BLFZ
qsfp24 supported false true      low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5DA0P3
qsfp25 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X72B3LF
qsfp26 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X61ABER
qsfp27 supported false false     low    Hardware      FINISAR CORP.    FTCC1112E2PCL    X5QAAJV
qsfp28 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PABV4
qsfp29 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5QB2MY
qsfp30 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X65A14C
qsfp31 supported false true      high   Software      FINISAR CORP.    FTCC1112E2PCL    X5PAQHE

This is a pretty bad failure mode, because there is no way to automatically recover from this, requiring operator intervention. Even if the module's power is actually fine, it cannot work until the fault is cleared. Dendrite should consider doing this automatically. During its transceiver monitoring loop, it could note any modules with a power fault and clear that, up to some number of attempts. Should we decide to do this, it needs to be logged, and ideally we'd have a way to control this disposition through the API.

主要言語: Rust
スター: 20
フォーク: 3
平均マージ: 8時間 29分
マージ済み PR（30日）: 2

環境構築

このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

oxidecomputer/dendrite のほかの issue

Inverted logic for assigning DHCPv6 addresses to techports works by accident
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 78/100

oxidecomputer/dendrite#380 · 2026年9月26日に作成

メンテナーはふだん 5 日以内に返信
Deleting a link shouldn't fail if the transceiver isn't present
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 65/100

oxidecomputer/dendrite#375 · 2026年9月23日に作成

メンテナーはふだん 5 日以内に返信
Revisiting `reset_all` and `reset_all_tagged`
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

oxidecomputer/dendrite#369 · 2026年9月3日に作成

メンテナーはふだん 5 日以内に返信
Include `tools` dir in shellcheck CI
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 58/100

oxidecomputer/dendrite#368 · 2026年9月3日に作成

メンテナーはふだん 5 日以内に返信
Oximeter types probably shouldn't be in the Dendrite API
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 52/100

oxidecomputer/dendrite#359 · コメント 1 件 · 2026年8月31日に作成

メンテナーはふだん 5 日以内に返信

oxidecomputer/dendrite の issue をすべて見る

似ている issue

`--no-metadata` with `--git` or `--path` fails with "Could not read cargo metadata"
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 74/100

trailofbits/dylint#2107 · 2026年9月26日に作成

メンテナーはふだん 1 日以内に返信
`rtk test` does not normalise an even, non-zero negation count — returns the child's status where a shell returns 0/1
オープン
- 何か問題がありますか？
area:cli bug good first issue priority:medium

難易度 2/5 1〜3時間初心者へのやさしさ 90/100

rtk-ai/rtk#4289 · コメント 1 件 · 2026年9月26日に作成

メンテナーはふだん 1 日以内に返信
arrays_zip with two same-named inputs fails with "ArrowArray struct has 2 children (expected 1)"
オープン
- 何か問題がありますか？
bug requires-triage

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/datafusion-comet#6251 · 2026年9月26日に作成

メンテナーはふだん 1 日以内に返信
B018: useless-expression one more example to document
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 72/100

astral-sh/ruff#28922 · 2026年9月26日に作成

メンテナーはふだん 1 日以内に返信
"Trilemma" flagged for Spell Check when it is correct
オープン
- 何か問題がありますか？
bug false-positive harper-core linting

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

Automattic/harper#4471 · 2026年9月26日に作成

メンテナーはふだん 1 日以内に返信

Rust の issue をもっと見る

Dendrite could automatically clear power faults

何か問題がありますか？

評価

説明

環境構築

はじめの一歩

oxidecomputer/dendrite のほかの issue

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

似ている issue

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

新しい issue をメールで受け取る