Add "agentic" model type to submission metadata & leaderboard (similar to GIFT-Eval)
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 68/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- data, machine-learning
Direzione di ricerca
Individua la definizione di model_type a livello di submission e i punti di ingresso per i metadati e il filtraggio della leaderboard. Aggiungi il supporto per il valore agentic e verifica che appaia come categoria filtrabile della leaderboard, mentre la gestione delle attività, le metriche, EvaluationWindow, l’aggregazione, lo scoring e il trattamento statistico rimangano invariati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Add an agentic value to submission-level model-type metadata so agentic forecasting systems can self-declare and be filtered on the leaderboard. Metadata only. No change to tasks, metrics, EvaluationWindow, or aggregation.
Motivation
Agentic systems (tool-using, multi-step pipelines that produce forecasts) are now a distinct submission class, not plain pretrained or fine-tuned models. GIFT-Eval added an Agentic model type for this reason, and it gets used: the Moirai 2.0 paper filters out agentic solutions to get a clean foundation-model comparison. Without a tag, agentic submissions get excluded informally or silently skew a board readers assume is model v model.
Approach
- Extend the submission-level
model_typefield with anagenticvalue, surfaced as a filterable leaderboard column. - Submission-level, not task-level, so it describes how the forecast was produced, orthogonal to the task taxonomy.
- Same scoring and statistical treatment as everything else. The tag only enables include or exclude, not a separate ranking.
Happy to send a PR for this.
- Lingua principale
- Python
- Stelle
- 187
- Fork
- 36
- Merge medio
- 1g 5h
- PR unite (30g)
- 13
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Issue simili
-
Keybind quest outdatedApertaStatus: Triage Type: Quest
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
GTNewHorizons/GT-New-Horizons-Modpack#27490 ·
I maintainer di solito rispondono entro 1 giorno
-
Bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
retentioneering/retentioneering-tools#231 ·
I maintainer di solito rispondono entro 1 giorno
-
backend bug documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
geolens-io/geolens#3568 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
mprov-ng/mprov_control_center#450 ·
I maintainer di solito rispondono entro 1 giorno