Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

_read_deletes filters the full delete table once per distinct file_path

Aberta
#3,983 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
3/5
Tempo estimado
1-2 dias
Facilidade para iniciantes
68/100
Tipo de issue
Refatoração
Clareza
Razoavelmente clara
Status de atividade
Ativa
Stack de tecnologia
python
Domínio
data-engineering, performance

Direção de pesquisa

Start at the _read_deletes implementation and inspect both the dictionary-comprehension branch and the ORC branch described in the issue. Trace how file_path and pos are represented, then verify that the result is equivalent while avoiding a full-table filter for every distinct path; add or run coverage for delete files containing many paths.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

bug

_read_deletes builds its result with a dict comprehension that filters the whole table once per distinct file_path:

{
    file.as_py(): table.filter(pc.field("file_path") == file).column("pos")
    for file in table.column("file_path").chunks[0].dictionary
}

Cost is therefore O(rows x distinct paths). A delete file with many distinct paths makes this quadratic. The ORC branch below has the same shape via unique().

Issue investigation generated via claude, reviewed by Sung, Kevin, Fokko.

Linguagem predominante
Python
Estrelas
1.1k
Forks
589
Merge médio
1d 20h
PRs com merge (30d)
68

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de apache/iceberg-python

Todas as issues de apache/iceberg-python

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.