Store high-order tensors as 1d vectors
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- scala, spark, tensorflow
- Área
- data-engineering
Línea de trabajo
Comienza localizando los puntos de entrada analyze y printschema y revisando cómo representan actualmente los metadatos los tensores anidados y aplanados. Se considerará completado cuando se admita el almacenamiento listado en orden row-major y el comportamiento correspondiente de ingestión/salida, incluidas las opciones compact_storage, y printschema distinga el almacenamiento 1d de los tensores de dimensiones superiores.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Because catalyst is optimized for 0d and 1d tensors, all the tensors should be stored this way. Of course, users can still input some arrays of arrays at the inputs, but the outputs should be optimized for 1d arrays. It should be the recommended output for anything above 3d tensors.
This can be done only with a more flexible interpretation of the metadata.
One concern is that the data storage as seen by sql may be different from the interpretation seen by tensorframes. On the positive side, it will simplify the low-level operations.
Expected modifications:
- default storage layout is row major (but with consideration to a potential option to column major)
- all operations should accept at ingest imbricated arrays or flattened tensors
- all operations should output flattened tensors for tensors >= 2 dimensions -> this is a user-facing change
- analyze will be the conversion point between flattened and nested representations, with an extra option
compact_storage. This option will either accept a single boolean (all numerical types), the letter 'R" (all columns compacted in Row order) or a list of names of columns (only these columns are compacted in Row order). A dictionary could be supported later. - printschema will differentiate between tensors stored in 1d and n
- Lenguaje dominante
- Scala
- Estrellas
- 743
- Forks
- 158
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/tensorframes
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/tensorframes#185 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
databricks/tensorframes#181 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
databricks/tensorframes#179 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
databricks/tensorframes#176 · 2 comentarios ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
databricks/tensorframes#165 ·
Todos los issues de databricks/tensorframes
Issues similares
-
Area: Excel support
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
orbeon/orbeon-forms#7893 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 70/100