Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Experimental catalyst conversions for low-dimension tensors

Abierto
#35 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
20/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
scala, spark
Área
data, distributed-systems, performance

Línea de trabajo

Empieza investigando cómo los planes lógicos de Catalyst y la representación Tungsten de Spark gestionan las columnas escalares, vectoriales y de tensores de orden superior. Compara el cálculo actual de la matriz de covarianza con los enfoques propuestos de copia y flattening de buffers, y determina cómo podrían compartir código generado los cuatro tipos básicos. Se considera terminado cuando haya una ruta de conversión experimental, un fallback para tensores de orden superior y un resultado de benchmark.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement

Directly integrate with the logical plan of Catalyst when working on small dimensions.

For columns containing scalars or vectors, perform an unsafe memory copy to a buffer instead of using scala collections, and provide a fallback for higher-order tensors. It is recommended to flatten the operations for higher order tensors because the Tungsten representation is not very efficient from a memory perspective.

Implementation for the 4 basic types will duplicate some code, so investigate a templating library or scala macros to generate the code for each type?

The benchmark for this task will be the computation of the covariance matrix of a dataset (hopefully, it can get faster than the current computation in Spark).

Lenguaje dominante
Scala
Estrellas
743
Forks
158
Sin PR fusionados en 30 d

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de databricks/tensorframes

Todos los issues de databricks/tensorframes

Issues similares

Más issues de Scala

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.