Improving representative benchmarks for typing ecosystem
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 25/100
- Issue 類型
- 功能
- 描述清晰度
- 需要釐清
- 活躍度
- 停滯
- 技術堆疊
- python
- 領域
- performance
研究方向
先檢視 issue 中描述的三個基準測試領域，以及其中連結的現有 pydantic 基準測試。將這些選項與目前的 pyperformance 基準測試套件進行比較，接著釐清應納入哪些案例與基準測試程式。達成具代表性的基準測試範圍共識，並將選定的基準測試 upstream 後，即表示完成。
由索引模型根據 Issue 內容生成。
描述
Due to a current lack of representative macrobenchmarks, it is very difficult to decide on whether complex accelerators for some parts of typing are worth implementing in the future. Hence, I'm trying to upstream some benchmarks into pyperformance.
IMO, there are three main areas:
- Performance of static type checkers implemented in Python (e.g. mypy). (Fixed by #102)
- Performance of programs using types at runtime (e.g. pydantic, attrs, etc.).
- Runtime overhead of typed code vs fully untyped code.
For case 2, I plan to use one of pydantic's benchmarks here https://github.com/samuelcolvin/pydantic/tree/master/benchmarks, installed without compiled binaries.
Case 3 is very tricky because there are so many ways to use typing. I don't know how often people use certain features, whether they type-hint inside tight loops, etc. So I'm struggling to find a good benchmark. An idea: grabbing one of the existing pyperformance benchmarks, fully type-hinting it, then comparing the performance delta may work.
CC @JelleZijlstra, I would greatly appreciate hearing your opinion on this (especially for case 3). Maybe I can post this on typing-sig too if I need more help.
Afterword:
All 3 cases benefit from general CPython optimizations. But usually only 3. benefits greatly from typing module-only optimizations (with 1. maybe not improving much if at all, depending on implementation).
- 主要語言
- Python
- 星號
- 1k
- 分支
- 203
- 平均合併
- 1 小時 20 分鐘
- 30 天內合併 PR
- 2
貢獻指南
這個儲存庫沒有索引到貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
python/pyperformance 的其他 Issue
-
難度 2/5 1-3 小時 新手友好度 75/100
python/pyperformance#346 · 3 則留言 ·
-
python/pyperformance#474 · 4 個 reaction · 已指派 1 人 ·
-
難度 3/5 1-2 天 新手友好度 25/100
python/pyperformance#473 ·
-
難度 3/5 1-2 天 新手友好度 55/100
python/pyperformance#464 ·
-
難度 4/5 3-5 天 新手友好度 48/100
python/pyperformance#460 · 2 則留言 · 1 個 reaction ·
查看 python/pyperformance 的全部 Issue
相似的 Issue
-
agent-ready documentation needs-triage
難度 1/5 1-3 小時 新手友好度 88/100
-
documentation
難度 1/5 1 小時以內 新手友好度 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" 未關閉
難度 1/5 1 小時以內 新手友好度 92/100
-
instance instance add
難度 1/5 1 小時以內 新手友好度 72/100
searxng/searx-instances#939 · 1 則留言 ·
-
area-deployment area-integrations triage:bot-seen
難度 2/5 半天 新手友好度 86/100