Store high-order tensors as 1d vectors
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 30/100
- Tipo de issue
- Funcionalidade
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Stack de tecnologia
- scala, spark, tensorflow
- Domínio
- data-engineering
Direção de pesquisa
Comece localizando os pontos de entrada analyze e printschema e revisando como os metadados representam atualmente tensores aninhados e achatados. Considera-se concluído quando houver suporte ao armazenamento row-major listado e ao comportamento correspondente de ingestão/saída, incluindo as opções compact_storage, com printschema distinguindo o armazenamento 1d de tensores de dimensões superiores.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Because catalyst is optimized for 0d and 1d tensors, all the tensors should be stored this way. Of course, users can still input some arrays of arrays at the inputs, but the outputs should be optimized for 1d arrays. It should be the recommended output for anything above 3d tensors.
This can be done only with a more flexible interpretation of the metadata.
One concern is that the data storage as seen by sql may be different from the interpretation seen by tensorframes. On the positive side, it will simplify the low-level operations.
Expected modifications:
- default storage layout is row major (but with consideration to a potential option to column major)
- all operations should accept at ingest imbricated arrays or flattened tensors
- all operations should output flattened tensors for tensors >= 2 dimensions -> this is a user-facing change
- analyze will be the conversion point between flattened and nested representations, with an extra option
compact_storage. This option will either accept a single boolean (all numerical types), the letter 'R" (all columns compacted in Row order) or a list of names of columns (only these columns are compacted in Row order). A dictionary could be supported later. - printschema will differentiate between tensors stored in 1d and n
- Linguagem predominante
- Scala
- Estrelas
- 743
- Forks
- 158
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Inclui um Dockerfile ou arquivo Docker Compose
- Sem modelo de pull request
- Sem guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de databricks/tensorframes
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
databricks/tensorframes#185 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
databricks/tensorframes#181 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
databricks/tensorframes#179 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 15/100
databricks/tensorframes#176 · 2 comentários ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
databricks/tensorframes#165 ·
Todas as issues de databricks/tensorframes
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia
-
Fix Math.ceilDiv wrong result for exact positive divisionsTalvez já em andamento @pamod-madubashana assumiu há 1 dia. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
scala-native/scala-native#5094 ·
Mantenedores costumam responder em até 1 dia
-
dependencies tech-debt
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 85/100
Mantenedores costumam responder em até 2 dias
-
"Show threat" doesn't show the evaluation of the threatTalvez já em andamento @Zinkelburger assumiu há 1 dia. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
lichess-org/lila#22008 · 2 comentários ·
Mantenedores costumam responder em até 1 dia
-
C21 publishes `reactivemongo/core/SSL` as Java 23 bytecode — TLS connections fail on any JDK < 23Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
ReactiveMongo/ReactiveMongo#1520 ·
Mantenedores costumam responder em até 1 dia