Shuffling produces empirically worse results
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Empieza reproduciendo la diferencia informada entre los lotes de entrenamiento mezclados y secuenciales en DeepClean y, después, inspecciona los puntos de entrada del entrenamiento y del batching responsables de la convergencia. Se considera terminado cuando se haya identificado una explicación respaldada para el comportamiento observado y se haya documentado si indica un defecto o un efecto esperado del entrenamiento.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
When we shuffle the training set, DeepClean fails to converge. This seems to go against most DL training intuition.
Think of the batch as its own sort of "meta-sample" used for optimization, composed of smaller individual samples whose individual information contributions are averaged during the computation of the gradient for backpropagation. When we randomly shuffle the dataset, we create combinatorially many meta-samples that each average different information and produce diverse gradient updates, helping to combat overfitting. When we batch things sequentially, we're essentially downsizing our dataset by a factor of the batch size, forcing the network to learn from the same information over and over again.
It would be really great to get an understanding of why we're observing this phenomenon, because it does make it feel as if there's some performance we're leaving on the table by not understanding it.
- Lenguaje dominante
- Python
- Estrellas
- 11
- Forks
- 6
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ML4GW/DeepClean
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
question research topic
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
bug documentation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
Todos los issues de ML4GW/DeepClean
Issues similares
-
wr.dynamodb.read_items returns [{}] for a single partition value that does not existPosiblemente ocupada @auraseb la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
aws/aws-sdk-pandas#3520 ·
Los mantenedores suelen responder en 2 días
-
requires triage typing
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
sqlalchemy/sqlalchemy#13704 ·
Los mantenedores suelen responder en 1 día
-
Edit tool converts CRLF files to LFPosiblemente ocupada @RaphaelFakhri la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
huggingface/tau#774 ·
Los mantenedores suelen responder en 1 día
-
show ignores the row limit when a column or table name contains "limit"Posiblemente ocupada @RaphaelFakhri la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
What happened to `check.py`?Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
linebender/resvg#1179 · 1 comentario ·
Los mantenedores suelen responder en 2 días