Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

Use default chunk size as 4 MB than than 16Mb in arrow's rolling policy

Ouverte
#1,040 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
2/5
Temps estimé
1-3 heures
Accessibilité débutants
45/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
java
Domaine
performance

Piste de recherche

Commencez par localiser l’implémentation de la rolling policy qui contient getRoundedSize et la valeur par défaut de chunkSize, puis examinez comment CommonUtil.nextPowerOfTwo est utilisé. Comparez la policy avec la valeur par défaut de 4 MB de Netty décrite dans l’issue. Le travail est terminé lorsque la valeur par défaut utilise 4 MB et que le comportement existant pour les tailles des requêtes est couvert par les tests pertinents, s’ils existent.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Type: enhancement
Describe the enhancement requested

Apache Arrow currently calculates chunk sizes based on the assumption that Netty's PooledByteBufAllocatorL uses a 16MB page size. If size is blow 16MB, will use nextPowerOfTwo of requestSize.

  public long getRoundedSize(long requestSize) {
    return requestSize < chunkSize ? CommonUtil.nextPowerOfTwo(requestSize) : requestSize;
  }

However, Netty's default maximum buffer size has been reduced from 16MB to 4MB in recent versions (see https://github.com/netty/netty/pull/12108). This mismatch leads to memory inefficiency in scenarios where chunk sizes fall between 4MB and 16MB.

Langage dominant
Java
Étoiles
95
Forks
154
Merge moyen
2 j 10 h
PR mergées (30 j)
11

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/arrow-java

Toutes les issues de apache/arrow-java

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.