apache/pinot

[Segment ingestion job] Multi-threaded segment copy from staging dir to final destination

Open

#7.510 geöffnet am 4. Okt. 2021

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (1.234 Forks)batch import
enhancementhelp wantedingestion

Repository-Metriken

Stars
 (4.937 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 7h) (186 gemergte PRs in 30 T)

Beschreibung

SparkIngestionJob uses single threaded copy for segments copy from staging dir to final deep store dir(e.g. S3): https://github.com/apache/pinot/blob/7ce8b756dff2b153151517afd552759e44d46c75/pinot-plugins/pinot-batch-ingestion/pinot-batch-ingestion-spark/src/main/java/org/apache/pinot/plugin/ingestion/batch/spark/SparkSegmentGenerationJobRunner.java#L345

For a few hundred segments being uploaded, it can take forever. In this case, we should consider generating a list of source and destination paths for segment copy then use RDD to parallel this job.

Contributor Guide

Research-Richtung
Untersuchen Sie den Code in SparkSegmentGenerationJobRunner.java, um die aktuelle Single Thread Segmentkopierlogik zu verstehen. Erstellen Sie eine Liste von Quell und Zielpfaden und verwenden Sie Spark RDD, um die Kopiervorgänge zu parallelisieren. Erwägen Sie die Verwendung von map oder foreach auf einem RDD von Pfadpaaren. Stellen Sie eine ordnungsgemäße Fehlerbehandlung und Protokollierung sicher. Sehen Sie sich vorhandene Spark Nutzungsmuster im Codebase an.
Tech Stack
java
Domain
backenddata
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JavaSparkPinot
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70