Ensure that we do long context evaluation throughout the pipeline (at all stages)
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 35/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- Calme
- Domaine
- machine-learning, testing-qa
Piste de recherche
Commencez par cartographier les étapes SFT, DP et RL mentionnées dans l’issue et par identifier comment les évaluations post-entraînement sont actuellement exécutées. Ajoutez des tâches à contexte long, telles que NiH, aux évaluations post-entraînement à chaque étape, puis vérifiez que la couverture du contexte long est présente dans l’ensemble du pipeline.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Goal
We need to ensure that we do not lose long context capabilities at SFT, DP, RL, et.c.
Description
Deliverable scope
Include Long context tasks in post-training evals (NiH, et.c)
Dependencies
- Langage dominant
- Aucune donnée de langage
- Étoiles
- 3
- Forks
- 0
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de OpenEuroLLM/Taskboard
-
Automatic evaluation reporting for model cardPeut-être pris @spyysalo l’a pris il y a 1 jour. OuverteT4.5 - cont. eval WP5
OpenEuroLLM/Taskboard#445 · 1 commentaire · 2 personnes assignées ·
-
Collect evaluations for preludePeut-être pris @TudorMN l’a pris il y a 9 jours. Ouverte
OpenEuroLLM/Taskboard#443 · 19 commentaires · 4 personnes assignées ·
-
Investigate performance gap between current and Marianna's pipelinePeut-être pris @Ali-Elganzory l’a pris il y a 9 jours. Ouverte4.6 post-training
OpenEuroLLM/Taskboard#442 · 3 commentaires · 2 personnes assignées ·
-
Improve progress tracker tool for large scale experimentsPeut-être pris @sam-laing l’a pris il y a 9 jours. Ouverteenhancement T4.2 - model exploration
OpenEuroLLM/Taskboard#441 · 2 personnes assignées ·
-
Nucleus sparse experiment setupPeut-être pris @aaronkl l’a pris il y a 25 jours. OuverteT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 commentaire · 1 réaction · 1 personne assignée ·
Toutes les issues de OpenEuroLLM/Taskboard
Issues similaires
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 91/100
triton-inference-server/server#9069 ·
Les mainteneurs répondent en général sous 1 jour
-
[distributions] FisherSnedecor and GeneralizedPareto return nan for moments that are infiniteOuvertebot-triaged module: distributions module: NaNs and Infs triage review
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: Level-1 sleep discards the `runtime` and `cudagraph` CuMem pools, so the first request after `wake_up` fails with an illegal memory access (vLLM 0.32)Peut-être pris @Mikael17125 l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
vllm-project/vllm-omni#9988 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 92/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
Niko1221/Strata#5447 · 2 commentaires ·
Les mainteneurs répondent en général sous 4 jours