Build inspect.entries() and inspect.files() from pyiceberg-core Arrow output

Aberta
  • Algo errado?
#4,297 1 comentário 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 1 dia

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
4/5
Tempo estimado
3-5 dias
Facilidade para iniciantes
45/100
Tipo de issue
Funcionalidade
Clareza
Claramente especificada
Status de atividade
Ativa
Stack de tecnologia
python
Domínio
data-engineering

Direção de pesquisa

Start with pyiceberg/table/inspect.py at inspect.entries() and inspect.files(), then read pyiceberg/manifest.py around _inherit_from_manifest and the dependency ranges in pyproject.toml. Check the pyiceberg-core Arrow reader release and its DataFusion major version before changing the dependency pin. Done when both methods use Arrow manifest output when the optional extra is installed, retain the current path without it, and their tests cover the inherited fields and dependency constraints.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Feature Request / Improvement

inspect.entries() and inspect.files() build a DataFile per manifest entry and then flatten them back into a pa.Table (inspect.py#L152, inspect.py#L860). Once pyiceberg-core returns manifests as pyarrow tables (apache/iceberg-rust#3648), these methods can build their tables from that output directly. They're the first consumer of the Arrow output in #4007, because they want Arrow anyway.

The Arrow manifest reader fills null snapshot_id, sequence_number, and file_sequence_number values from the manifest list as the manifest_entry fields specify, and null first_row_id values as first row ID inheritance specifies. That replaces what _inherit_from_manifest (manifest.py#L1050) does today. pyiceberg-core is an optional extra, so the current path stays when it isn't installed.

This needs a pyiceberg-core release with the Arrow readers, and raising PyIceberg's pin (>=0.10.1,<0.11.0) to it. The new range has to name the same DataFusion major version as the datafusion range (pyproject.toml#L95-L98).

Linguagem predominante
Python
Estrelas
1.2k
Forks
654
Merge médio
2d 11h
PRs com merge (30d)
122

Preparar o ambiente

  • Sem Dockerfile nem arquivo Docker Compose
  • Tem um modelo de pull request
  • Sem guia de contribuição

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de apache/iceberg-python

Todas as issues de apache/iceberg-python

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.