apache/pinot

Support query response dump in different formats and location

Open

#6.939 geöffnet am 18. Mai 2021

Auf GitHub ansehen
 (3 Kommentare) (2 Reaktionen) (0 zugewiesene Personen)Java (1.234 Forks)batch import
featuregood first issue

Repository-Metriken

Stars
 (4.937 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 7h) (186 gemergte PRs in 30 T)

Beschreibung

From the query endpoint, Pinot currently only supports customized JSON format.

It would be great to support:

  1. user can specify the response format, e.g. CSV
  2. user can specify a file to dump the query response to, e.g. local or remote(s3) file or directory.
  3. user can specify the compression algorithm for output file.

This can be implemented in broker query API or we can do all the reformat and response dump using org.apache.pinot.tools.admin.command.PostQueryCommand

Contributor Guide

Research-Richtung
Untersuchen Sie die Broker Abfrage API Implementierung in PinotBroker.java und die Klasse PostQueryCommand, um zu sehen, wie Abfrageantworten derzeit behandelt werden. Bestimmen Sie, wo die Formatverhandlung (z. B. Accept Header oder Abfrageparameter) hinzugefügt werden soll und wie die Dateischreibfunktion mit lokalen und S3 Zielen integriert werden kann. Berücksichtigen Sie auch die Komprimierungsunterstützung mithilfe von integrierten oder Drittanbieter Bibliotheken von Java. Überprüfen Sie vorhandene Diskussionen in den Issue Kommentaren für zusätzliche Erkenntnisse.
Tech Stack
java
Domain
backendapi
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
JavaApache Pinot
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40