apache/pinot

Support query response dump in different formats and location

Open

#6939 aperta il 18 mag 2021

Vedi su GitHub
 (3 commenti) (2 reazioni) (0 assegnatari)Java (1234 fork)batch import
featuregood first issue

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

From the query endpoint, Pinot currently only supports customized JSON format.

It would be great to support:

  1. user can specify the response format, e.g. CSV
  2. user can specify a file to dump the query response to, e.g. local or remote(s3) file or directory.
  3. user can specify the compression algorithm for output file.

This can be implemented in broker query API or we can do all the reformat and response dump using org.apache.pinot.tools.admin.command.PostQueryCommand

Guida contributor

Direzione di ricerca
Analizza l'implementazione dell'API di query del broker in PinotBroker.java e la classe PostQueryCommand per vedere come vengono attualmente gestite le risposte alle query. Determina dove aggiungere la negoziazione del formato (ad esempio, intestazione Accept o parametro di query) e come integrare la scrittura di file con destinazioni locali e S3. Considera anche il supporto alla compressione utilizzando le librerie integrate di Java o di terze parti. Rivedi eventuali discussioni esistenti nei commenti dell'issue per ulteriori approfondimenti.
Tech stack
java
Dominio
backendapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
JavaApache Pinot
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40