New functions for better support for different scores and metrics
@VisruthSK がすでに取り組んでいます。
2025年6月25日 から。
評価
この issue はまだ評価されていません。
説明
This is related to issues #223, #220, #213, #201, #135, #106
We have discussed rewriting CRPS and SCRPS functions to use better computation (probability weighted moment form). As new functions are needed, this has lead to thinking overall improvement of metric and score functions. Some thoughts
- Keep the current loo for elpd, as it does not have arguments for the predictions and observations
- a) Deprecate loo_predictive_metric and create new loo_predictive_measure, or
b) create new loo_predictive_score- (a) might be better if we change the output
- Noa thinks we could drop loo_
- I think we could drop predictive_ but should not drop loo_
- For all measures, return a loo object with pointwise and estimates
- With pointwise information, we can do model comparisons
- Should we extend the current loo object or make a new object type?
- One challenge might be the sub sampling loo, which increase the amount of
of work when implementing other measures
- Extend loo_compare to work with other measures, as we know how to compute diff_se for all current
metrics and scores. Currently, loo_predictive_metric returns only estimate and se for one model
predictions- Or do we need a new function
- Include MAE, RMSE, MSE, R2, ACC, balanced ACC, and Brie score to metrics
- Include RPS, SRPS, CRPS, SCRPS, and log score to scores
- When computing S?C?RPS or current metrics, maybe store function specific diagnostics?
- All measures need psis object or log weights, and thus
should we always compute p_loo, too? Or should we compute measure specific value describing
amount of fitting? - I have a minimal function that computes loo versions of RPS, SRPS, CRPS, SCRPS and includes documentation for the equations with references (but no argument checking, and computes it only for one scalar y, etc)
tagging @n-kall and @jgabry
- 主要言語
- R
- スター
- 157
- フォーク
- 38
- 平均マージ
- 4日 16時間
- マージ済み PR(30日)
- 2
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
stan-dev/loo のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
-
Clean up issues オープン
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
似ている issue
-
area:livestock bug priority:low
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
eduaguilera/whep#1313 ·
-
rules
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
The-Strategy-Unit/nhp_reskit#229 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
epiforecasts/EpiNow2#1547 ·