Convert validation code to work with Megatron as well as huggingface
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- machine-learning
Piste de recherche
Aucun fichier, test ou point d’entrée n’est indiqué dans l’issue. Commencez par localiser le code de validation et déterminer comment il gère actuellement Hugging Face ; consultez ensuite Stas de l’équipe d’ingénierie au sujet du comportement attendu de Megatron ; le travail est terminé lorsque la validation fonctionne avec les deux systèmes.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Talk to Stas in engineering if need help with this
- Langage dominant
- Python
- Étoiles
- 42
- Forks
- 24
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de bigscience-workshop/evaluation
-
Add MKQA to Full BenchmarkOuverte
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
-
Refactor task template to merge multilingual.json and english.jsonPeut-être à nouveau libre @wilsonyhlee l’a pris il y a 1886 jours, et aucune pull request n’est ouverte. Ouverte
bigscience-workshop/evaluation#64 · 1 personne assignée ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
bigscience-workshop/evaluation#61 · 2 commentaires · 3 réactions ·
-
Setup testingPeut-être à nouveau libre @tttyuntian l’a pris il y a 1902 jours, et aucune pull request n’est ouverte. Ouverteengineering
bigscience-workshop/evaluation#57 · 2 commentaires · 3 personnes assignées ·
-
Start overleaf for benchmark tech reportPeut-être à nouveau libre @arunraja-hub l’a pris il y a 1897 jours, et aucune pull request n’est ouverte. Ouvertedocumentation
bigscience-workshop/evaluation#54 · 1 commentaire · 3 réactions · 2 personnes assignées ·
Toutes les issues de bigscience-workshop/evaluation
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
enhancement good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
elviskahoro/sdk-python-attio#144 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
Les mainteneurs répondent en général sous 1 jour
-
RenyiELBO raises TypeError when model has no sample sitesPeut-être pris @alibb007 l’a pris aujourd’hui. Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: Four evaluation scripts unpack init_memmachine_params's five return values into three namesOuverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
MemMachine/MemMachine#1911 ·
Les mainteneurs répondent en général sous 3 jours