apache/iceberg

Core: Stream DV Puffin rewrite in RewriteTablePathUtil to reduce memory pressure

Open

#15.924 aberto em 9 de abr. de 2026

Ver no GitHub
 (2 comments) (0 reactions) (1 assignee)Java (1.915 forks)batch import
coregood first issueimprovement

Métricas do repositório

Stars
 (5.146 stars)
Métricas de merge de PR
 (Mesclagem média 10d 22h) (164 fundiu PRs em 30d)

Description

Feature Request / Improvement

Description

RewriteTablePathUtil.rewriteDVFile currently rewrites deletion vector (DV) Puffin files by reading all rewritten blobs into an in-memory list before writing them out, which can create unnecessary memory pressure when rewriting larger DV files or files with many blobs.

Suggested improvement

Refactor RewriteTablePathUtil.rewriteDVFile to stream rewritten blobs directly to the output PuffinWriter while iterating through the source blobs, instead of collecting all rewritten blobs into a temporary list first.

Query engine

None

Willingness to contribute

  • I can contribute this improvement/feature independently
  • I would be willing to contribute this improvement/feature with guidance from the Iceberg community
  • I cannot contribute this improvement/feature at this time

Guia do colaborador

Direção de pesquisa
Investigue a implementação atual em RewriteTablePathUtil.rewriteDVFile, entenda como os blobs são lidos e escritos e refatore para transmitir os blobs diretamente do PuffinReader de origem para o PuffinWriter de saída sem uma lista intermediária.
Pilha de tecnologia
java
Domain
backend
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaApache Iceberg basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70