Adding Language specific validation sets to deepspeed
@hadyelsahar ci sta già lavorando.
Dal 8/9/2021.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
The idea of this issue to modify the megatron-deepspeed repository code that we use for training all models. In order to track the progress of validation loss on several validaiton sets separately. This would allow us to track the progress of training independtly on separate languages.
Currently, the validation loss is calculated on a single validation set that includes the same language combination as the training data. (see here 13B param model training on tensorboard)
Useful pointers
- How datasets are loaded in model pre-training here
- Dataset loader for GPT here
- Validation step execution here
Progress
- Forked deepspeed where all development happens (ask @hadyelsahar for invitation) here
- Pull request: https://github.com/bigscience-workshop/Megatron-DeepSpeed/pull/97
- Lingua principale
- Python
- Stelle
- 75
- Fork
- 17
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di bigscience-workshop/multilingual-modeling
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
-
Implement Ladder Side-TuningAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
bigscience-workshop/multilingual-modeling#35 · 1 commento ·
Tutte le issue di bigscience-workshop/multilingual-modeling
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
Deepak3699/Ai_Mentor#244 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
btclib-org/btclib-node#1880 ·
I maintainer di solito rispondono entro 1 giorno
-
CONTRIBUTING.md: say how ticketless bug fixes and feature PRs are handledForse già presa @khuisman l’ha presa oggi. Apertav0.9.2
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
khuisman/mcp-gee-sweet#941 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
pyjanitor-devs/pyjanitor#1758 ·
I maintainer di solito rispondono entro 1 giorno
-
bug ready for review
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
odysseus-dev/odysseus#6641 ·
I maintainer di solito rispondono entro 1 giorno