Experimental catalyst conversions for low-dimension tensors
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 20/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- scala, spark
- Domaine
- data, distributed-systems, performance
Piste de recherche
Commencez par étudier comment les plans logiques de Catalyst et la représentation Tungsten de Spark gèrent les colonnes scalaires, vectorielles et de tenseurs d'ordre supérieur. Comparez le calcul actuel de la matrice de covariance avec les approches proposées de copie et d'aplatissement des buffers, et déterminez comment les quatre types de base pourraient partager du code généré. Le travail est considéré comme terminé lorsqu'il existe un chemin de conversion expérimental, un fallback pour les tenseurs d'ordre supérieur et un résultat de benchmark.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Directly integrate with the logical plan of Catalyst when working on small dimensions.
For columns containing scalars or vectors, perform an unsafe memory copy to a buffer instead of using scala collections, and provide a fallback for higher-order tensors. It is recommended to flatten the operations for higher order tensors because the Tungsten representation is not very efficient from a memory perspective.
Implementation for the 4 basic types will duplicate some code, so investigate a templating library or scala macros to generate the code for each type?
The benchmark for this task will be the computation of the covariance matrix of a dataset (hopefully, it can get faster than the current computation in Spark).
- Langage dominant
- Scala
- Étoiles
- 743
- Forks
- 158
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Aucun modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de databricks/tensorframes
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
databricks/tensorframes#185 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
databricks/tensorframes#181 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
databricks/tensorframes#179 ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100
databricks/tensorframes#176 · 2 commentaires ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
databricks/tensorframes#165 ·
Toutes les issues de databricks/tensorframes
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
Fix Math.ceilDiv wrong result for exact positive divisionsPeut-être pris @pamod-madubashana l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
scala-native/scala-native#5094 ·
Les mainteneurs répondent en général sous 1 jour
-
"Show threat" doesn't show the evaluation of the threatPeut-être pris @Zinkelburger l’a pris il y a 1 jour. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
lichess-org/lila#22008 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
C21 publishes `reactivemongo/core/SSL` as Java 23 bytecode — TLS connections fail on any JDK < 23Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
ReactiveMongo/ReactiveMongo#1520 ·
Les mainteneurs répondent en général sous 1 jour
-
module: memory type: bug/reported
Difficulté 1/5 Moins d'une heure Accessibilité débutants 78/100
OpenXiangShan/XiangShan#6688 · 2 commentaires ·
Les mainteneurs répondent en général sous 2 jours