Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

should control the maximum memory usage

Ouverte
#736 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
35/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
java
Domaine
data-engineering

Piste de recherche

Commencez par ArrowVectorIterator::consume et la gestion existante de targetBatchSize. Déterminez comment une limite de maxBufferSize doit interagir avec la construction des record-batches, puis définissez des tests pour les grandes valeurs de longueur variable ; le travail est terminé lorsque l’itération respecte la limite de mémoire sans nécessiter de batch surdimensionné.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Type: enhancement
Describe the enhancement requested

ArrowVectorIterator::consume only concern about the ArrowVectorIterator#targetBatchSize but not the memory used.

Let's suppose a scenario:

  1. A database table with a longtext field;
  2. All of the rows in the table are larger than 500M;
  3. ArrowVectorIterator#targetBatchSize is 256;

We need at least for 125G memory to get one record batch.

So I think it's better add a parameter such as maxBufferSize to control the memory usage.

Langage dominant
Java
Étoiles
95
Forks
154
Merge moyen
2 j 10 h
PR mergées (30 j)
11

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/arrow-java

Toutes les issues de apache/arrow-java

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.