Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Experimental catalyst conversions for low-dimension tensors

Aperta
#35 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
20/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
scala, spark
Ambito
data, distributed-systems, performance

Direzione di ricerca

Inizia analizzando come i piani logici di Catalyst e la rappresentazione Tungsten di Spark gestiscono le colonne scalari, vettoriali e di tensori di ordine superiore. Confronta il calcolo attuale della matrice di covarianza con gli approcci proposti di copia e flattening dei buffer, e determina come i quattro tipi di base potrebbero condividere il codice generato. Il lavoro è completato quando sono disponibili un percorso di conversione sperimentale, un fallback per i tensori di ordine superiore e un risultato di benchmark.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement

Directly integrate with the logical plan of Catalyst when working on small dimensions.

For columns containing scalars or vectors, perform an unsafe memory copy to a buffer instead of using scala collections, and provide a fallback for higher-order tensors. It is recommended to flatten the operations for higher order tensors because the Tungsten representation is not very efficient from a memory perspective.

Implementation for the 4 basic types will duplicate some code, so investigate a templating library or scala macros to generate the code for each type?

The benchmark for this task will be the computation of the covariance matrix of a dataset (hopefully, it can get faster than the current computation in Spark).

Lingua principale
Scala
Stelle
743
Fork
158
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di databricks/tensorframes

Tutte le issue di databricks/tensorframes

Issue simili

Altre issue su Scala

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.