feat: support row-group statistics pruning and Parquet page index / page skipping in C++ parquet reader
Mantenedores costumam responder em até 2 dias
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 35/100
Direção de pesquisa
The issue names no files or tests; first locate the C++ Parquet reader and its existing file/manifest pruning entry points. Read how retained row groups are scanned, then define completion around consolidated row-group statistics pruning and ColumnIndex/OffsetIndex-based page skipping.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
In iceberg-cpp, Parquet scan currently prunes at file/manifest level; row-group statistics and Parquet page index are not yet used to skip pages inside retained row groups. For large row groups with data sorted by filter column, this leaves significant I/O on the table.
I’d like to propose a phased design:
(1) consolidate row-group stats pruning
(2) add ColumnIndex/OffsetIndex-based page skipping
- Linguagem predominante
- C++
- Estrelas
- 228
- Forks
- 136
- Merge médio
- 5d 19h
- PRs com merge (30d)
- 53
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de apache/iceberg-cpp
-
bug: TableMetadataBuilder::RemoveSchemas leaves removed ids in the schema indexTalvez já em andamento @LuciferYang assumiu há 6 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
apache/iceberg-cpp#1011 ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 12/100
apache/iceberg-cpp#1027 · 1 comentário ·
Mantenedores costumam responder em até 2 dias
-
bug: gzip table metadata is neither written nor detected as gzipTalvez já em andamento @LuciferYang assumiu há 6 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 66/100
apache/iceberg-cpp#1013 ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
apache/iceberg-cpp#1000 · 2 comentários · 1 reação ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 8/100
apache/iceberg-cpp#988 · 2 comentários ·
Mantenedores costumam responder em até 2 dias
Todas as issues de apache/iceberg-cpp
Issues semelhantes
-
P2: A timed rotation maneuver does nothing on a ship that had an earlier timed lateral maneuverAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
scp-fs2open/fs2open.github.com#7914 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
Mantenedores costumam responder em até 2 dias
-
bug low priority rt_lib wasm
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 77/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
eclipse-score/inc_someip_gateway#356 ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
HarperFast/rocksdb-js#945 ·
Mantenedores costumam responder em até 1 dia