Can we make transformers work here?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning, performance
Línea de trabajo
Comienza leyendo el artículo enlazado sobre arquitecturas Transformer y el contexto de los issues #23 y #26. Investiga enfoques que eviten el tiempo de ejecución y el uso de memoria cuadráticos con la tasa de muestreo actual; después, define un enfoque de implementación y demuestra un mejor rendimiento de Sequence-to-Sequence para el caso de uso de series temporales del proyecto.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Transformer architectures have revealed themselves to be the unquestionable state-of-the-art when it comes to sequence-to-sequence modelling architectures, and would be incredibly valuable to implement here. The issue in our use case is that the outer product in the self-attention mechanism makes the time and memory quadratic in the length of the timeseries. With our current sampling rate of 4096, that makes even a few seconds a very like timeseries in terms of number of steps (though in the context of #23 and #26 it's possible we don't need as many second as we're using now). However, the blog post linked to above outlines a couple a schemes in the literature for addressing this limitation. It's worth looking into what we might be able to adopt and seeing how that can improve things.
- Lenguaje dominante
- Python
- Estrellas
- 11
- Forks
- 6
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ML4GW/DeepClean
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
question research topic
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
bug documentation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
Todos los issues de ML4GW/DeepClean
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
webrecorder/warcio#209 ·
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Jeffy123-zhu/logspecter#20 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día