Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

AvroReadSupport should automatically detect file list encoding

Fermée
  • Quelque chose ne va pas ?
#3,816 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 4 jours

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
45/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Active
Stack technique
java
Domaine
data-engineering

Piste de recherche

Look at AvroReadSupport in the parquet-avro module to understand how list structures are currently handled. The detection logic must examine the Parquet schema's repeated group patterns to distinguish three-level and two-level lists. Testing will involve reading existing Parquet files with both list encodings to ensure automatic detection works without the configuration property.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Type: enhancement
Describe the enhancement requested

parquet-avro currently contains opt-in support for reading and writing both "three-level" lists:

required group mylist (LIST) {
  repeated group list {
    required int32 element;
  }
}

and "two level"/"legacy"/"old" lists:

required group mylist (LIST) {
  repeated int32 array;
}

The boolean Configuration property parquet.avro.write-old-list-structure controls which structure should be written, but readers have to specify the parquet.avro.write-old-list-structure property, too, if they're either (a) supplying a custom projection, or (b) reading a Parquet file that doesn't contain the parquet.avro.schema key in its file metadata.

Ideally the reader should be able to automatically detect both types of list encoding, so that we can keep the Configuration property as a writer-side implementation detail.

Component(s)

Avro

Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
5 j 13 h
PR mergées (30 j)
31

Préparer son environnement

  • Aucun Dockerfile ni fichier Docker Compose
  • Propose un modèle de pull request
  • Aucun guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/parquet-java

Toutes les issues de apache/parquet-java

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.