Store high-order tensors as 1d vectors
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 30/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- scala, spark, tensorflow
- Ambito
- data-engineering
Direzione di ricerca
Inizia individuando gli entry point analyze e printschema e verificando come i metadati rappresentano attualmente i tensori annidati e appiattiti. Il lavoro sarà considerato completato quando saranno supportati lo storage row-major elencato e il relativo comportamento di ingest/output, incluse le opzioni compact_storage, e printschema distinguerà lo storage 1d dai tensori a più dimensioni.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Because catalyst is optimized for 0d and 1d tensors, all the tensors should be stored this way. Of course, users can still input some arrays of arrays at the inputs, but the outputs should be optimized for 1d arrays. It should be the recommended output for anything above 3d tensors.
This can be done only with a more flexible interpretation of the metadata.
One concern is that the data storage as seen by sql may be different from the interpretation seen by tensorframes. On the positive side, it will simplify the low-level operations.
Expected modifications:
- default storage layout is row major (but with consideration to a potential option to column major)
- all operations should accept at ingest imbricated arrays or flattened tensors
- all operations should output flattened tensors for tensors >= 2 dimensions -> this is a user-facing change
- analyze will be the conversion point between flattened and nested representations, with an extra option
compact_storage. This option will either accept a single boolean (all numerical types), the letter 'R" (all columns compacted in Row order) or a list of names of columns (only these columns are compacted in Row order). A dictionary could be supported later. - printschema will differentiate between tensors stored in 1d and n
- Lingua principale
- Scala
- Stelle
- 743
- Fork
- 158
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di databricks/tensorframes
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
databricks/tensorframes#185 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
databricks/tensorframes#181 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
databricks/tensorframes#179 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
databricks/tensorframes#176 · 2 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
databricks/tensorframes#165 ·
Tutte le issue di databricks/tensorframes
Issue simili
-
Area: Excel support
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
orbeon/orbeon-forms#7893 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 70/100