Use pyarrow.compute.unique on struct arrays once a struct kernel ships
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 1-2 dias
- Facilidade para iniciantes
- 35/100
Direção de pesquisa
Read PR #167 and inspect the lazy backend to understand the removed eager duplicate detection and whether any row set uniqueness check has since been added. Check whether the project's supported PyArrow version provides a struct kernel for pyarrow.compute.unique; the issue describes the proposed StructArray approach. Done means the applicable uniqueness check uses that kernel when available, with a count check.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Tracking issue for a small follow-up on PR #167.
Inside the now-removed eager duplicate-detection path we used a Python set over per-row dim tuples instead of pyarrow.compute.unique on a StructArray because pc.unique does not have a struct kernel in pyarrow 23.0.0:
pyarrow.lib.ArrowNotImplementedError: Function 'unique' has no kernel matching input types (struct<lat: double, lon: int64>)
When the dependency floor moves and pyarrow adds the kernel, the Python-side scan can be replaced with a single pc.unique(pa.StructArray.from_arrays([table.column(d) for d in dimension_columns])) and a count check.
Currently the eager reshape path no longer exists in the lazy backend (PR #167 unified eager and lazy), but the same pattern may resurface if a future feature reintroduces row-set uniqueness checks on the SQL output (e.g. for stricter duplicate diagnostics on aggregation results). Filing here so it isn't lost.
- Linguagem predominante
- Python
- Estrelas
- 142
- Forks
- 19
- Merge médio
- 1d 9h
- PRs com merge (30d)
- 9
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de xqlsystems/xarray-sql
-
documentation
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 85/100
xqlsystems/xarray-sql#268 ·
Mantenedores costumam responder em até 1 dia
-
enhancement
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 64/100
xqlsystems/xarray-sql#267 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 74/100
xqlsystems/xarray-sql#243 ·
Mantenedores costumam responder em até 1 dia
-
publish.yml: the TestPyPI verification step is unreachable (and installs the wrong package name)Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
xqlsystems/xarray-sql#242 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
xqlsystems/xarray-sql#237 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de xqlsystems/xarray-sql
Issues semelhantes
-
Issue Triage-Needed
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
pulp/pulp_container#2581 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 85/100
521xueweihan/HelloGitHub#4040 ·
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 64/100
ClanGenOfficial/clangen#6313 ·
Mantenedores costumam responder em até 2 dias
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
Mantenedores costumam responder em até 1 dia
-
bug(trainer): CustomTrainer func_args with non literal values fail inside the TrainJobTalvez já em andamento @avanishkasar assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
kubeflow/sdk#879 · 1 comentário ·
Mantenedores costumam responder em até 1 dia