Ensure that we do long context evaluation throughout the pipeline (at all stages)
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Ambito
- machine-learning, testing-qa
Direzione di ricerca
Inizia mappando le fasi SFT, DP e RL menzionate nell'issue e identificando come vengono attualmente eseguite le valutazioni post-training. Aggiungi attività a contesto lungo, come NiH, alle valutazioni post-training in ogni fase, quindi verifica che la copertura del contesto lungo sia presente nell'intera pipeline.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Goal
We need to ensure that we do not lose long context capabilities at SFT, DP, RL, et.c.
Description
Deliverable scope
Include Long context tasks in post-training evals (NiH, et.c)
Dependencies
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 3
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenEuroLLM/Taskboard
-
[nucleus sparse] Experiment setupForse già presa @aaronkl l’ha presa 8 giorni fa. ApertaT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 reazione · 1 assegnatario ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scalingForse già presa @ibaucells l’ha presa 8 giorni fa. ApertaT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 commenti · 1 assegnatario ·
-
Synthetic Generation for Multilingual Instruction TuningForse già presa @abhash-er l’ha presa 9 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#437 · 1 assegnatario ·
-
Safety and alignment evaluationForse già presa @BirgerMoell l’ha presa 9 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#436 · 1 assegnatario ·
-
Finding optimal dataset mixtures for DPOForse già presa @geoalgo l’ha presa 9 giorni fa. Aperta4.6 post-training
OpenEuroLLM/Taskboard#435 · 3 assegnatari ·
Tutte le issue di OpenEuroLLM/Taskboard
Issue simili
-
Random Dropout MSEAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
JacksonBurns/how-to-train-your-chemeleon#9 · 1 commento ·
-
new_case_failure skipped skipped_bmg
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
intel/torch-xpu-ops#5800 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
artlite-project/artlite#5 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
CUDA OOM in omnivoice-demo voice cloning: create_voice_clone_prompt() runs without inference_modeForse già presa @karthik24iyer l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100