Experimental catalyst conversions for low-dimension tensors
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 20/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- scala, spark
- Bereich
- data, distributed-systems, performance
Rechercherichtung
Untersuche zunächst, wie logische Catalyst-Pläne und die Tungsten-Repräsentation von Spark Spalten mit skalaren, Vektor- und höhergeordneten Tensoren behandeln. Vergleiche die aktuelle Berechnung der Kovarianzmatrix mit den vorgeschlagenen Ansätzen zum Kopieren und Flattening von Puffern, und ermittle, wie die vier grundlegenden Typen generierten Code gemeinsam nutzen könnten. Als erledigt gilt die Aufgabe, wenn es einen experimentellen Konvertierungspfad, einen Fallback für höhergeordnete Tensoren und ein Benchmark-Ergebnis gibt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Directly integrate with the logical plan of Catalyst when working on small dimensions.
For columns containing scalars or vectors, perform an unsafe memory copy to a buffer instead of using scala collections, and provide a fallback for higher-order tensors. It is recommended to flatten the operations for higher order tensors because the Tungsten representation is not very efficient from a memory perspective.
Implementation for the 4 basic types will duplicate some code, so investigate a templating library or scala macros to generate the code for each type?
The benchmark for this task will be the computation of the covariance matrix of a dataset (hopefully, it can get faster than the current computation in Spark).
- Vorherrschende Sprache
- Scala
- Sterne
- 743
- Forks
- 158
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Kein Beitragsleitfaden
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus databricks/tensorframes
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
databricks/tensorframes#185 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
databricks/tensorframes#181 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
databricks/tensorframes#179 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100
databricks/tensorframes#176 · 2 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
databricks/tensorframes#165 ·
Alle Issues in databricks/tensorframes
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
chipsalliance/rocket-chip#3838 ·
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
Maintainer antworten meist innerhalb von 1 Tag
-
ProviderExchangeSinkSpec leaves temp directories and files behindEvtl. vergeben @rajmodi8905 hat das heute übernommen. Offengood first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
llm4s/llm4s#1714 · 2 Kommentare · 1 zugewiesene Person ·
Maintainer antworten meist innerhalb von 1 Tag
-
Fix Math.ceilDiv wrong result for exact positive divisionsEvtl. vergeben @pamod-madubashana hat das vor 2 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
scala-native/scala-native#5094 ·
Maintainer antworten meist innerhalb von 1 Tag
-
dependencies tech-debt
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
Maintainer antworten meist innerhalb von 2 Tagen