Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

No need to read full RowGroup when using RowRanges

Aberta
  • Algo errado?
#3,231 1 comentário 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 4 dias

@atris já está trabalhando nisso.

Desde 27/3/2026.

Avaliação

Dificuldade
4/5
Tempo estimado
3-5 dias
Facilidade para iniciantes
45/100
Tipo de issue
Funcionalidade
Clareza
Razoavelmente clara
Status de atividade
Pouca atividade
Stack de tecnologia
java
Domínio
data-engineering

Direção de pesquisa

Comece em ParquetFileReader.readFilteredRowGroup() e acompanhe como RowRanges.createSingle(10) é tratado ao carregar um row group. Determine onde o row group completo é lido e como a filtragem por intervalos poderia limitar as leituras da rede e o uso de memória; considera-se concluído quando as linhas solicitadas puderem ser lidas sem carregar o row group completo.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Type: enhancement
Describe the enhancement requested

I'm using ParquetFileReader and would like to read the few first line of a parquet file to show a preview to the user.
I'm doing this :
PageReadStore rowGroup = reader.readFilteredRowGroup(0, RowRanges.createSingle(10));
and then :
ColumnReadStore colReadStore = new ColumnReadStoreImpl(rowGroup,
new GroupRecordConverter(schema).getRootConverter(),
schemaLecture, ...);
etc.

The problem is when calling readFilteredRowGroup(), it reads the full row group in memory, which in my case is slow because the parquet file is on a network drive and has quite big row group. On top of that, it consumes RAM for nothing.

Is this an issue or could it be improved ?

Thanks in advance.
Olivier

Component(s)

No response

Linguagem predominante
Java
Estrelas
3.1k
Forks
1.6k
Merge médio
5d 13h
PRs com merge (30d)
31

Preparar o ambiente

  • Sem Dockerfile nem arquivo Docker Compose
  • Tem um modelo de pull request
  • Sem guia de contribuição

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de apache/parquet-java

Todas as issues de apache/parquet-java

Issues semelhantes

Mais issues de Java

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.