Suggested GPU to run the demo code of step2_reward_model_finetuning (DeepSpeed-Chat)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza con las instrucciones de step2_reward_model_finetuning y training_scripts/opt/single_gpu/run_350m.sh; después, reproduce el fallo de falta de memoria en las configuraciones V100 indicadas. Se considera terminado cuando hayas identificado una configuración documentada que se ejecute correctamente o hayas registrado claramente los requisitos de GPU y los cambios necesarios.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I follow the instructions of this page to do step2_reward_model_finetuning with demo code.
On the Google Cloud platform, I create one instance with a single V100(16GB) and another instance with double V100(16GB). I directly use this command bash training_scripts/opt/single_gpu/run_350m.sh but always meet the out-of-memory issues.
Are there any modifications I could do to run this demo code on double V100(16BG)? Or Are there recommendations about which type of GPU I should use to run this demo code successfully?
Appreciate the help!
- Lenguaje dominante
- Python
- Estrellas
- 6.8k
- Forks
- 1.1k
- Merge medio
- 3 d 20 h
- PR fusionados (30 d)
- 5
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de deepspeedai/DeepSpeedExamples
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 52/100
deepspeedai/DeepSpeedExamples#996 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
deepspeedai/DeepSpeedExamples#995 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 52/100
deepspeedai/DeepSpeedExamples#989 ·
-
moe example 404Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
deepspeedai/DeepSpeedExamples#984 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
deepspeedai/DeepSpeedExamples#979 · 6 comentarios ·
Todos los issues de deepspeedai/DeepSpeedExamples
Issues similares
-
feedback simulation workshop
Dificultad 2/5 1-3 horas Aptitud para principiantes 73/100
githubnext/gh-aw-workshop#4455 ·
Los mantenedores suelen responder en 1 día
-
Triage 🩺
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
[BUG] Container scenario crashes without expected_recovery_time, kube DNS example uses retry_waitAbiertoneeds-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
krkn-chaos/krkn#1627 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
NousResearch/hermes-agent#136483 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día