Stacked experts: fetch only the sampled expert slices, count decoded bytes in the prefetch budget
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 1-2 天
- 新手友好度
- 48/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- python
- 领域
- data, performance
调研方向
Start by locating ExpertSlice and DecodedBase.size, then trace how stacked tensors are read in --stream mode and how decoded data contributes to the prefetch budget. Compare the selected expert slabs with the current whole-tensor read, and check the budget against decoded float32 size. Done when only sampled slabs are fetched and the budget reflects decoded bytes.
由索引模型根据 Issue 内容生成。
描述
From the review of https://github.com/STRML/quantdiff/pull/1 (P2).
ExpertSlicereads a whole stacked tensor to compare K experts. With--stream, a DeepSeek-V4-sized pack moves about 2.3 GB per mxfp4[384, 2304, 5120]tensor for roughly 2% of the compared data. The stack is row-major, so Range reads can fetch just the chosen expert slabs.DecodedBase.sizecounts wire bytes; decoded float32 is about 4x (FP8) to 8x (FP4) larger, so the prefetch budget understates what is held.
- 主要语言
- Python
- 星标
- 0
- 派生
- 0
- 平均合并
- 5 分钟
- 30 天内合并 PR
- 3
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
STRML/quantdiff 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 76/100
-
难度 2/5 1-3 小时 新手友好度 75/100
-
难度 3/5 1-2 天 新手友好度 54/100
-
难度 4/5 3-5 天 新手友好度 44/100
-
难度 3/5 1-2 天 新手友好度 58/100
相似的 Issue
-
enhancement
难度 2/5 1-3 小时 新手友好度 78/100
glossyio/traffic-monitor#264 ·
维护者通常 1 天内回复
-
Add self-host未关闭
难度 1/5 1 小时以内 新手友好度 75/100
Atarity/deploy-your-own-saas#102 ·
-
[Bug]: RDFlex silently drops the covariate adjustment when the outcome or treatment column is integer-typed可能已有人在做 @vrjdev 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
DoubleML/doubleml-for-py#424 ·
维护者通常 1 天内回复
-
agentic-dmx docs enhancement
难度 1/5 1-3 小时 新手友好度 86/100
-
难度 1/5 1 小时以内 新手友好度 72/100
521xueweihan/HelloGitHub#4150 ·