Setup test flakiness monitoring, reporting, and SOP

未关闭
#175 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看

还没有人认领这个 Issue。

评估

难度
5/5
预计耗时
一周以上
新手友好度
25/100
Issue 类型
功能
描述清晰度
需要澄清
活跃度
停滞
技术栈
go

调研方向

首先审查 go-libp2p 工具,包括 ci-flakiness-badge,以确定哪些内容可以应用于 boxo。定义 reporting workflow 和 SOP,涵盖识别最常出现 flaky 的测试、衡量一段时间内的趋势,以及记录如何处理 flaky 测试;issue 中没有列出任何文件或测试名称。

由索引模型根据 Issue 内容生成。

描述

kind/test topic/project-management

Done Criteria

We have data insights showing our top flaky tests, and we can quantify how this is trending with time.
We also have an SOP on how we handle flaky tests. This shouldn't be tribal knowledge or guess work.

Why Important

Flaky tests will doom this endeavor because it will either:

  1. Delay getting releases out, even when a small change was made in a tiny module OR
  2. Catch us in the tar pit of relying on human judgement of whether we can merge/release or not. We won't make this judgement correct all the time, and unnecessary bugs will slip out the door.

We want to be able to quickly spot flakiness so we know where to eradicate it.

Notes

go-libp2p has tooling (including a ci-flakiness-badge) that I think we can follow/adopt/use.

主要语言
Go
星标
326
派生
165
PR 合并指标
30 天内没有已合并 PR

环境准备

  • 没有 Dockerfile 或 Docker Compose 文件
  • 有 Pull Request 模板
  • 没有贡献指南

从这里开始

  1. 先读完整个 Issue,再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库,在一个分支上完成修改。
  4. 提交 Pull Request,并在描述里引用这个 Issue 编号。

ipfs/boxo 的其他 Issue

查看 ipfs/boxo 的全部 Issue

相似的 Issue

更多 Go Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。