Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

Make write.parquet.page-size-bytes and write.parquet.dict-size-bytes taking effect

Ouverte
  • Quelque chose ne va pas ?
#943 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
72/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
Active
Stack technique
cpp
Domaine
data-engineering

Piste de recherche

Start at src/iceberg/parquet/parquet_writer.cc, especially ParquetWriter::Impl::Open, and read the declarations and defaults in src/iceberg/table_properties.h. Trace WriterProperties::FromMap and the Arrow writer-property construction, then locate existing writer-property tests. Done means defaults and overrides reach the underlying writer, invalid or non-positive values are rejected before file creation, and custom settings have write/read coverage.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

The C++ Parquet writer does not apply write.parquet.page-size-bytes or write.parquet.dict-size-bytes. Both properties are already declared in TableProperties, but passing them through WriterProperties::FromMap has no effect on the underlying Parquet writer configuration.

On the current main, the ParquetWriter::Impl::Open has already configured the compression, compression level, and the row-count limit, however it builds Arrow's writer properties without setting the page or dictionary size. This prevents callers from using the standard Iceberg properties to tune these sizes.

For instance, providing the following properties should configure a 64 KiB data-page target and a 256 KiB dictionary-page limit on output parquet writer:

write.parquet.page-size-bytes=65536
write.parquet.dict-size-bytes=262144

Proposed change:

  • Expose these two settings through WriterProperties and apply them when constructing Arrow's Parquet writer properties.
  • Use the Iceberg defaults already declared in table_properties.h: 1 MiB for data pages and 2 MiB for dictionary pages.
  • Reject invalid or non-positive values before creating the output file.
  • Add tests for defaults, overrides, invalid values, and propagation into the underlying writer, plus write/read coverage with custom settings.

Background:

Note:
Byte-based row-group sizing (write.parquet.row-group-size-bytes) can be handled in a separate follow-up because it requires examining the buffering and flush policy.

Langage dominant
C++
Étoiles
223
Forks
127
Merge moyen
1 j 13 h
PR mergées (30 j)
28

Préparer son environnement

Nous n'avons pas encore vérifié les fichiers d'installation de ce projet. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/iceberg-cpp

Toutes les issues de apache/iceberg-cpp

Issues similaires

Plus d'issues C++

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.