More precise mean_var for non-Dask dense arrays?

オープン

#128 2025年10月17日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 25/100

issue の種類: 機能追加
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: python
領域: data

調査の方向性

まず、src/fast_array_utils/stats/_mean_var.py の40行目付近と、#127 で説明されている変更を読んでください。dense-in-core、Dask、sparse-in-core の各パスを比較し、float32 と float64 のべき乗計算の違いと、一時的なアロケーションに注目してください。dense array に対する1つの精度戦略を選択して文書化し、そのメモリとパフォーマンスのトレードオフが明確になっていれば完了です。

索引モデルが issue の本文から書いたものです。

説明

type: numpy/scipy

In #127, I changed how mean_var works just for Dask:

https://github.com/scverse/fast-array-utils/blob/940727fe307d7c6e0a3d0a2b8907860a285a11c0/src/fast_array_utils/stats/_mean_var.py#L40

We already have a custom numba implementation for sparse-in-core which operates on float64s, but doesn’t convert everything at once.

We could make the change also affect dense-in-core. Should we

leave things as they are and keep power for float32 dense arrays as float32? It takes less space and is faster, but less precise.
do exponentiation in 64 bit everywhere? this would allocate an exponentiated array of the input size in 64 bit, but I guess if people’s machines can handle a temporary 2n (prod(shape)×32×2), they can handle a temporary 3n (prod(shape)×32 + prod(shape)×64)?
implement a custom numba implementation for dense-in-core as well?

主要言語: Python
スター: 15
フォーク: 5
平均マージ: 10時間 33分
マージ済み PR（30日）: 9

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

scverse/fast-array-utils のほかの issue

Document `numba` sparse plugin types オープン

難易度 1/5 1〜3時間初心者へのやさしさ 74/100

scverse/fast-array-utils#165 · 2026年4月9日に作成
Why does fau need to know about numba internals for thread layer オープン

難易度 5/5 1週間以上初心者へのやさしさ 30/100

scverse/fast-array-utils#215 · コメント 1 件 · 2026年9月18日に作成
More `jit` options, specifically `nogil=True` on the serial kernels オープン

難易度 3/5 1〜2日初心者へのやさしさ 65/100

scverse/fast-array-utils#213 · コメント 4 件 · 2026年9月17日に作成
fork() called from a process already using GNU OpenMP, this is unsafe. オープン

難易度 4/5 3〜5日初心者へのやさしさ 48/100

scverse/fast-array-utils#179 · コメント 23 件 · 2026年6月24日に作成
Which datatypes does `to_dense` accept? オープン

good first issue

難易度 3/5 半日初心者へのやさしさ 38/100

scverse/fast-array-utils#100 · コメント 4 件 · 2025年5月17日に作成

scverse/fast-array-utils の issue をすべて見る

似ている issue

validate-structure inspecte challenge/work/.terraform et rend faux les labs qui ont un provider en cache オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

stephrobert/dsoxlab#238 · 2026年9月24日に作成
Uniform probability densities use the upper bound as an interval width オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

nasa/fmdtools#40 · 2026年9月24日に作成
_common_folder() treats a single file as the common folder; single-file archives can't be installed (4.2.8) / crash (master) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

sublimehq/package_control#1780 · 2026年9月24日に作成
Set 'Sample' input in 'autorun.py' to utilize 'Sample' Tab in eLog オープン

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

pcdshub/mfx#309 · コメント 2 件 · 2026年9月24日に作成
niri config file addition does not respect existing optional include オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

nwg-piotr/nwg-displays#145 · 2026年9月24日に作成

Python の issue をもっと見る