Setup test flakiness monitoring, reporting, and SOP
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 25/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- go
调研方向
首先审查 go-libp2p 工具,包括 ci-flakiness-badge,以确定哪些内容可以应用于 boxo。定义 reporting workflow 和 SOP,涵盖识别最常出现 flaky 的测试、衡量一段时间内的趋势,以及记录如何处理 flaky 测试;issue 中没有列出任何文件或测试名称。
由索引模型根据 Issue 内容生成。
描述
Done Criteria
We have data insights showing our top flaky tests, and we can quantify how this is trending with time.
We also have an SOP on how we handle flaky tests. This shouldn't be tribal knowledge or guess work.
Why Important
Flaky tests will doom this endeavor because it will either:
- Delay getting releases out, even when a small change was made in a tiny module OR
- Catch us in the tar pit of relying on human judgement of whether we can merge/release or not. We won't make this judgement correct all the time, and unnecessary bugs will slip out the door.
We want to be able to quickly spot flakiness so we know where to eradicate it.
Notes
go-libp2p has tooling (including a ci-flakiness-badge) that I think we can follow/adopt/use.
- 主要语言
- Go
- 星标
- 326
- 派生
- 165
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
ipfs/boxo 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 70/100
-
难度 4/5 3-5 天 新手友好度 46/100
-
难度 3/5 1-2 天 新手友好度 55/100
-
need/triage
难度 5/5 一周以上 新手友好度 38/100
-
dif/medium effort/hours kind/enhancement P3 topic/devexp
难度 5/5 一周以上 新手友好度 35/100
相似的 Issue
-
affects-8.5 component/session severity/moderate sig/transaction type/bug
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
enhancement good first issue
难度 2/5 1-3 小时 新手友好度 85/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
harvester/harvester#12311 · 1 条评论 ·
维护者通常 1 天内回复
-
verifyrun --bracket-digest --credit: relative --witness is could-not-check, absolute path credits未关闭bug effort:s impact:low raised-by:desk risk:low
难度 2/5 1-3 小时 新手友好度 62/100
medici-finance/assay#6580 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 80/100
blinklabs-io/gouroboros#3026 ·
维护者通常 1 天内回复