Dealing with observation uncertainty
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 30/100
Direzione di ricerca
Inizia esaminando gli entry point delle metriche di valutazione del modello e il paper citato di Evans e Imran del 2024 per definire come le statistiche Observation Range Adjusted dovrebbero integrarsi in REF. Identifica i test di valutazione esistenti, quindi stabilisci la copertura per le metriche uncertainty-aware e documenta quali risultati costituiscono il completamento.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
The motivation
All observations have errors and uncertainties. Calculating model evaluation metrics against a single observation dataset means the result is a mix of model error and observation uncertainty.
We would like to do the evaluation in a way that accounts for the observation uncertainty so that the resulting metrics represent the model error only.
The solution
This can be achieved using the Observation Range Adjusted statistics
J P Evans and H M Imran 2024 Environ. Res. Commun. 6 071001
DOI 10.1088/2515-7620/ad5ad8
It would be great if this method was available through the REF
Alternatives
Additional context
- Lingua principale
- Python
- Stelle
- 27
- Fork
- 14
- Merge medio
- 3g 21h
- PR unite (30g)
- 21
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Climate-REF/climate-ref
-
bug ESMValTool
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Climate-REF/climate-ref#951 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Climate-REF/climate-ref#701 · 1 reazione ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Climate-REF/climate-ref#442 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
Climate-REF/climate-ref#967 · 4 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 3/5 Mezza giornata Idoneità per principianti 45/100
Climate-REF/climate-ref#957 ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di Climate-REF/climate-ref
Issue simili
-
wr.dynamodb.read_items returns [{}] for a single partition value that does not existForse già presa @auraseb l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
aws/aws-sdk-pandas#3520 ·
I maintainer di solito rispondono entro 2 giorni
-
requires triage typing
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
sqlalchemy/sqlalchemy#13704 ·
I maintainer di solito rispondono entro 1 giorno
-
Edit tool converts CRLF files to LFForse già presa @RaphaelFakhri l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
huggingface/tau#774 ·
I maintainer di solito rispondono entro 1 giorno
-
show ignores the row limit when a column or table name contains "limit"Forse già presa @RaphaelFakhri l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
What happened to `check.py`?Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
linebender/resvg#1179 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni