Improvements to hyperparameter tuning tutorial.
@stevehadd ya está trabajando en esto.
Desde el 8/11/2022.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
From review by @HarveySouth
Could: extend hyperparameter tuning tutorial with a test set evaluation from the best model. It would be interesting to discuss, but my own idea of reporting a good estimate of model performance involves finding the best hyperparameters that maximize the desired metric on the validation set, and then applying exactly the same training process to the model, trained on the training and validation data aggregated, tested against the test set since step/epoch are hyperparameters the final model inference metric is reportable. It is of course possible to report just the whole training process (which should be done anyway) and leave interpretation to the user/reader, but not sure what a best practice in this case would look like.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 4
- Forks
- 2
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de MetOffice/ml_weather_tutorial
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 55/100
-
Documentation: Tutorial setupAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
create a similarity matrix for the clustering notebookQuizá libre de nuevo @stevehadd la tomó hace 1384 días y no hay ningún pull request abierto. Abierto
MetOffice/ml_weather_tutorial#28 · 1 asignado ·