PCA fitting can overflow LAPACK's 32-bit indexing when fitting all spikes
维护者通常 1 天内回复
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- numpy, python
调研方向
Start in spikeinterface/postprocessing/principal_component.py at _fit_by_channel_global, where all waveforms for one unit are concatenated and passed to a single pca_model.partial_fit call that runs a LAPACK SVD. Reproduce with a large unit (the sizes in the traceback exceed 2^31 elements) and check whether the batching in the incremental fit can be split into chunks. Done means the call completes on the large unit without the LAPACK overflow and the existing PCA tests still pass.
由索引模型根据 Issue 内容生成。
描述
I was trying to compute the PCA features of a big dataset
analyzer.compute("random_spikes", method="all")
analyzer.compute("waveforms")
analyzer.compute("principal_components", n_components=3, mode="by_channel_global")
but apparently in the backend sklearn PCA has an inherent indexing limit
spikeinterface/postprocessing/principal_component.py, _fit_by_channel_global
pca_model.partial_fit(wfs_concat)
sklearn/decomposition/_incremental_pca.py, partial_fit
U, S, Vt = linalg.svd(X, full_matrices=False, check_finite=False)
scipy/linalg/_decomp_svd.py, svd
ValueError: Indexing a matrix of 2194566000 elements would incur an in integer overflow in LAPACK. Try using numpy.linalg.svd instead.
I see SpikeInterface already uses IncrementalPCA, but _fit_by_channel_global() combines all waveforms for one unit, reshapes spike/channel pairs into PCA rows, and passes the entire matrix to a single partial_fit() call. Each call still runs an SVD. A large unit can therefore exceed the 32-bit LAPACK indexing limit even when incremental fitting is used across units.
- 主要语言
- Python
- 星标
- 866
- 派生
- 285
- 平均合并
- 2 天 7 小时
- 30 天内合并 PR
- 43
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
SpikeInterface/spikeinterface 的其他 Issue
-
难度 1/5 1 小时以内 新手友好度 85/100
SpikeInterface/spikeinterface#4842 · 2 条评论 ·
维护者通常 1 天内回复
-
testing
难度 2/5 1-3 小时 新手友好度 68/100
SpikeInterface/spikeinterface#4756 ·
维护者通常 1 天内回复
-
enhancement
难度 2/5 1-3 小时 新手友好度 72/100
SpikeInterface/spikeinterface#4510 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 48/100
SpikeInterface/spikeinterface#4880 · 1 条评论 ·
维护者通常 1 天内回复
-
Lupin doesn't set `main_channel_id` property可能已有人在做 @yger 于 2 天前认领。 未关闭sorters
SpikeInterface/spikeinterface#4879 · 已指派 2 人 ·
维护者通常 1 天内回复
查看 SpikeInterface/spikeinterface 的全部 Issue
相似的 Issue
-
[Bug]: IndexHandler.post crashes with HTTP 500 on malformed payloads, missing credentials, or when login is disabled可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 6 天内回复
-
github_actions
难度 2/5 1-3 小时 新手友好度 65/100
collective/icalendar#2003 · 1 条评论 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 79/100
-
难度 2/5 1-3 小时 新手友好度 68/100
openzim/python-scraperlib#360 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
volcengine/OpenViking#6445 ·
维护者通常 1 天内回复