Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

PCA fitting can overflow LAPACK's 32-bit indexing when fitting all spikes

Abierto
  • ¿Algo no está bien?
#4,868 0 comentarios 1 reacción 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

@kushaangupta ya está trabajando en esto.

Desde el 14/10/2026.

  • #4869 de @kushaangupta — abierto

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
25/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
numpy, python
Área
data-engineering

Línea de trabajo

Start in spikeinterface/postprocessing/principal_component.py at _fit_by_channel_global, where all waveforms for one unit are concatenated and passed to a single pca_model.partial_fit call that runs a LAPACK SVD. Reproduce with a large unit (the sizes in the traceback exceed 2^31 elements) and check whether the batching in the incremental fit can be split into chunks. Done means the call completes on the large unit without the LAPACK overflow and the existing PCA tests still pass.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

postprocessing

I was trying to compute the PCA features of a big dataset

analyzer.compute("random_spikes", method="all")
analyzer.compute("waveforms")
analyzer.compute("principal_components", n_components=3, mode="by_channel_global")

but apparently in the backend sklearn PCA has an inherent indexing limit

spikeinterface/postprocessing/principal_component.py, _fit_by_channel_global
    pca_model.partial_fit(wfs_concat)
sklearn/decomposition/_incremental_pca.py, partial_fit
    U, S, Vt = linalg.svd(X, full_matrices=False, check_finite=False)
scipy/linalg/_decomp_svd.py, svd
ValueError: Indexing a matrix of 2194566000 elements would incur an in integer overflow in LAPACK. Try using numpy.linalg.svd instead.

I see SpikeInterface already uses IncrementalPCA, but _fit_by_channel_global() combines all waveforms for one unit, reshapes spike/channel pairs into PCA rows, and passes the entire matrix to a single partial_fit() call. Each call still runs an SVD. A large unit can therefore exceed the 32-bit LAPACK indexing limit even when incremental fitting is used across units.

Lenguaje dominante
Python
Estrellas
859
Forks
286
Merge medio
3 d 16 h
PR fusionados (30 d)
52

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de SpikeInterface/spikeinterface

Todos los issues de SpikeInterface/spikeinterface

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.