Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

_read_deletes filters the full delete table once per distinct file_path

Ouverte
#3,983 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
68/100
Type d'issue
Refactorisation
Clarté
Plutôt claire
Activité
Active
Stack technique
python
Domaine
data-engineering, performance

Piste de recherche

Start at the _read_deletes implementation and inspect both the dictionary-comprehension branch and the ORC branch described in the issue. Trace how file_path and pos are represented, then verify that the result is equivalent while avoiding a full-table filter for every distinct path; add or run coverage for delete files containing many paths.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

bug

_read_deletes builds its result with a dict comprehension that filters the whole table once per distinct file_path:

{
    file.as_py(): table.filter(pc.field("file_path") == file).column("pos")
    for file in table.column("file_path").chunks[0].dictionary
}

Cost is therefore O(rows x distinct paths). A delete file with many distinct paths makes this quadratic. The ORC branch below has the same shape via unique().

Issue investigation generated via claude, reviewed by Sung, Kevin, Fokko.

Langage dominant
Python
Étoiles
1.1k
Forks
589
Merge moyen
2 j 2 h
PR mergées (30 j)
70

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/iceberg-python

Toutes les issues de apache/iceberg-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.