apache/pinot

[Segment ingestion job] Multi-threaded segment copy from staging dir to final destination

Open

#7 510 ouverte le 4 oct. 2021

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Java (1 234 forks)batch import
enhancementhelp wantedingestion

Métriques du dépôt

Stars
 (4 937 stars)
Métriques de merge PR
 (Merge moyen 6j 7h) (186 PRs mergées en 30 j)

Description

SparkIngestionJob uses single threaded copy for segments copy from staging dir to final deep store dir(e.g. S3): https://github.com/apache/pinot/blob/7ce8b756dff2b153151517afd552759e44d46c75/pinot-plugins/pinot-batch-ingestion/pinot-batch-ingestion-spark/src/main/java/org/apache/pinot/plugin/ingestion/batch/spark/SparkSegmentGenerationJobRunner.java#L345

For a few hundred segments being uploaded, it can take forever. In this case, we should consider generating a list of source and destination paths for segment copy then use RDD to parallel this job.

Guide contributeur

Direction de recherche
Examinez le code dans SparkSegmentGenerationJobRunner.java pour comprendre la logique actuelle de copie de segments en thread unique. Créez une liste de chemins source et de destination, puis utilisez Spark RDD pour paralléliser les opérations de copie. Envisagez d'utiliser map ou foreach sur un RDD de paires de chemins. Assurez vous d'une gestion appropriée des erreurs et de la journalisation. Consultez les modèles d'utilisation de Spark existants dans la base de code.
Stack technique
java
Domaine
backenddata
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JavaSparkPinot
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70