export_to_phy vs using kilosort sorter output params.py directly
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
Línea de trabajo
Start at the export_to_phy function and compare the files it produces with the params.py and TSV files used by the direct Kilosort4 workflow. Reproduce both workflows on the same sorting, then identify what extra work accounts for the runtime and fewer waveform channels, and document whether the direct workflow is equivalent.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hello!
We realised in our lab recently that two of us were using two different ways to manually curate units with Phy after sorting with kilosort4.
The first is to use to use the export_to_phy function and then open the params.py file with Phy as described in the documentation (the exporting is very slow, sometimes slower than the actual sorting):
analyzer = si.create_sorting_analyzer(sorting_KS4, recording_saved, sparse=True)
# compute all the extensions required
sexp.export_to_phy(sorting_analyzer=analyzer, output_folder=Path(data_dir) / 'phy_folder', verbose=True, copy_binary=False)
The second is to just compute the extensions needed, save them as tsv files, copy to the sorter output location where params.py from the sorter output is generated, and then just open that with Phy without the export_to_phy function (much faster, barely any extra compute time).
sorting_analyzer = si.create_sorting_analyzer(sorting=sorting_KS4, recording=rec_corrected, format="binary_folder", folder = KSfolder / 'analyzer_med' )
contamination = sqm.compute_sliding_rp_violations(sorting_analyzer=sorting_analyzer,
bin_size_ms=0.25)
presence_ratio = sqm.compute_presence_ratios(sorting_analyzer=sorting_analyzer)
def save_dict_to_tsv(data, header_name, file_path, delimiter='\t'):
"""
Saves a dictionary to a TSV file.
Args:
data (dict): The dictionary to save. Keys will be the header row.
file_path (str): The path to the TSV file.
delimiter (str, optional): The delimiter. Defaults to tab ('\t').
"""
#with open(file_path, 'w', newline='', encoding='utf-8') as tsvfile:
with open(Path(KSfolder) / 'sorter_output' / file_path, 'w', newline='', encoding='utf-8') as tsvfile:
writer = csv.writer(tsvfile, delimiter=delimiter)
writer.writerow(['cluster_id', header_name])
for key, value in data.items():
writer.writerow([key, value])
save_dict_to_tsv(contamination, 'sliding_rp', 'cluster_sliding_rp.tsv')
save_dict_to_tsv(presence_ratio, 'presence', 'cluster_presence.tsv')
# move these to the same folder that holds your params.py file for phy
We tried both for the same sorting, and the only thing that jumped out to us was that the second method resulted in fewer channels in the waveform view on Phy, but no other noticeable difference.
What does export_to_phy do that takes so much time, and is it necessary to do it, since the second method seems to be working fine? Or are we missing something here?
- Lenguaje dominante
- Python
- Estrellas
- 855
- Forks
- 280
- Merge medio
- 3 d 32 min
- PR fusionados (30 d)
- 39
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de SpikeInterface/spikeinterface
-
testing
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
SpikeInterface/spikeinterface#4756 ·
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
SpikeInterface/spikeinterface#4510 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 32/100
SpikeInterface/spikeinterface#4816 ·
Los mantenedores suelen responder en 1 día
-
GatherToNpy/Zarr could pre-allocate stores when number of spike is knownPosiblemente ocupada @samuelgarcia la tomó hace 4 días. Abiertoperformance
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
SpikeInterface/spikeinterface#4787 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
SpikeInterface/spikeinterface#4781 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de SpikeInterface/spikeinterface
Issues similares
-
tool-calling
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
vllm-project/vllm#59838 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
raullenchai/Rapid-MLX#4042 ·
Los mantenedores suelen responder en 1 día
-
documentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
transitmatters/mbta-slow-zone-bot#70 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
litestar-org/advanced-alchemy#811 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día