pytest-html version 3.1.1 bug- Internal error in pytest_runtest_makereport causes test to show as Passed in HTML report
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 55/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- html, python
- 领域
- testing-qa
调研方向
首先使用 pytest-html 3.1.1、pytest、--html=report.html，以及 pytest_runtest_makereport hook 中的异常或键盘中断来复现该问题。跟踪 hook 结果如何传递到 HTML 报告，并确保受影响的测试不会显示为 Passed；预期应为 ERROR 还是 FAILED 仍需确定。
由索引模型根据 Issue 内容生成。
描述
Description
When an internal error occurs inside the pytest_runtest_makereport hook,
pytest-html 3.1.1 does not receive a valid report outcome and silently
defaults to displaying the test as Passed in the HTML report.
Environment
- pytest-html: 3.1.1
- pytest: 7.1.2 or 9.0.3
- Python: 3.13.7
- OS: Windows
Expected Behavior
Test should be marked as ERROR in the HTML report.
Actual Behavior
Test is marked as Passed in the HTML report, giving a false green result.
Steps to Reproduce
- Trigger an exception inside
pytest_runtest_makereporthook for eg raise RuntimeError("BOOM") - Run pytest with
--html=report.html - Open the HTML report
- Observe the affected test shows as Passed
Additional Notes
pytest-html 4.2.0 handles this differently — the report is empty instead
of showing a false Passed — but neither behavior is correct.
the correct expected outcome is debatable:
ERROR — represents a framework/fixture level problem, not a test assertion failure. This is probably the most accurate.
FAILED — could argue this since something clearly went wrong.
At minimum — not Passed, since that's factually wrong.
-In case of keyboard interrupt too same issue
- 主要语言
- Python
- 星标
- 779
- 派生
- 261
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
pytest-dev/pytest-html 的其他 Issue
-
难度 3/5 1-2 天 新手友好度 68/100
pytest-dev/pytest-html#1077 ·
-
难度 4/5 3-5 天 新手友好度 42/100
pytest-dev/pytest-html#1039 ·
-
Feature: pluggable HTML themes via Jinja2 template inheritance可能已有人在做 @RonnyPfannschmidt 于 135 天前认领。 未关闭
pytest-dev/pytest-html#1029 · 1 个 reaction · 已指派 1 人 ·
-
pytest-html does not escape HTML in testId (v4.2.0)可能已有人在做 @golikovichev 于 119 天前认领。 未关闭
难度 3/5 1-2 天 新手友好度 55/100
pytest-dev/pytest-html#1024 ·
-
难度 3/5 1-2 天 新手友好度 48/100
pytest-dev/pytest-html#1010 ·
查看 pytest-dev/pytest-html 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 82/100
-
难度 2/5 1-3 小时 新手友好度 64/100
agrc/palletjack#208 ·
-
status/needs-triage type/bug
难度 2/5 1-3 小时 新手友好度 85/100
PKU-YuanGroup/OpenAI4S#218 ·
维护者通常 1 天内回复
-
Test Leakage可能已有人在做 @garland3 今天认领。 未关闭
难度 1/5 1 小时以内 新手友好度 90/100
sandialabs/atlas-ui-3#1030 ·
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 84/100
aws-samples/sample-ai-persona#151 ·
维护者通常 1 天内回复