DREDge differences (parameters, online mode, math)
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 半日
- 初心者へのやさしさ
- 65/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
Compare the online DREDge implementation with the cwindolf/dredge repository to identify parameter mismatches (win_scale_um, win_step_um) and missing raster transforms (np.log1p). Fix the time_horizon bug in cross-chunk matrix extraction and add missing weights to the AP version's cross-correlation computation. Run the online algorithm tests to verify changes.
索引モデルが issue の本文から書いたものです。
説明
Hi all,
After @chrishalcrow and @alejoe91 released the DREDge online mode in SpikeInterface, I was quite excited to integrate it into dartsort, so I started looking into it more. I realized that there were a couple of details that I had not thought of when we discussed the implementation. Separately, I have been meaning to look into possible parameter mismatches between https://github.com/cwindolf/dredge and here for a while. I thought I'd gather up the findings here and break them into pieces so that we can discuss which ones you'd be happy to have changed, then I can open PRs to do so. Apologies for not thinking of these before / having bugs!
Online algorithm issues
There are two main differences between the implementation here and what I just wrote up in the dredge repo:
- Weights. The AP version of dredge does some weighting of each bin when computing cross correlations, but this isn't done in the LFP version. I think it's important to include this, and I'm happy to add it here.
- Cross-chunk time_horizon bug. I wasn't using time_horizon_s much in the LFP code, so I never noticed that it is applied incorrectly in the online algorithm. Right now, it exctracts a "main diagonal band" from the cross-chunk matrices, rather than grabbing elements on the bottom of the lower triangle / top of upper triangle as it should. The main diagonals are used within the same chunk, but the time horizon works differently in the cross-chunk terms!
There was also a math issue in my dredge code, a tiny thing involving one term missed in the prior/regularizer across the online algorithm's chunks. If I'm adding the above stuff, I think it would be cool to fix this smaller thing as well.
Parameters and raster processing
Compared to the dredge repo (D), here (SI) we have:
win_scale_um: D 300 (dredge parametrizes it as 600/2), SI does seem to have the same default, but across several files default values of 150, 400, and 300 all appear.win_step_um: D has 400, in SI values of both 400 and 200 appear. I think 200 is the actually used value, which is a lot of windows!- Raster transform: in D, the raster has a
np.log1papplied, which is not done in SI. I remember this being important in my initial development, but I don't have evidence at the moment.
There are also some other differences which seem minor.
So, what would be the best moves that I could make for you guys? I think that the online algorithm stuff is important to fix before this gets much usage. For the AP stuff, I'd like to at least go to step 400 if that's acceptable. I feel a bit afraid to add the log1p, but I do think it is a good thing to have.
- 主要言語
- Python
- スター
- 858
- フォーク
- 281
- 平均マージ
- 2日 18時間
- マージ済み PR(30日)
- 38
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
SpikeInterface/spikeinterface のほかの issue
-
testing
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
SpikeInterface/spikeinterface#4756 ·
メンテナーはふだん 2 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
SpikeInterface/spikeinterface#4510 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 57/100
SpikeInterface/spikeinterface#4835 ·
メンテナーはふだん 2 日以内に返信
-
Extend `TimeSeriesExecutor` to `num_chunks_per_job`対応中かも @samuelgarcia が今日担当しました。 オープンconcurrency
SpikeInterface/spikeinterface#4831 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
SpikeInterface/spikeinterface#4826 · コメント 15 件 ·
メンテナーはふだん 2 日以内に返信
SpikeInterface/spikeinterface の issue をすべて見る
似ている issue
-
defect from-review v0.9.2
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
khuisman/mcp-gee-sweet#926 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1時間未満 初心者へのやさしさ 84/100
EtanHey/brainlayer#1164 ·
メンテナーはふだん 1 日以内に返信
-
bug security
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
yunaremaia/vibeguard#141 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
PrismorSec/prismor#599 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信