apache/pinot

Support query response dump in different formats and location

Open

#6.939 aberto em 18 de mai. de 2021

Ver no GitHub
 (3 comments) (2 reactions) (0 assignees)Java (1.234 forks)batch import
featuregood first issue

Métricas do repositório

Stars
 (4.937 stars)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (186 fundiu PRs em 30d)

Description

From the query endpoint, Pinot currently only supports customized JSON format.

It would be great to support:

  1. user can specify the response format, e.g. CSV
  2. user can specify a file to dump the query response to, e.g. local or remote(s3) file or directory.
  3. user can specify the compression algorithm for output file.

This can be implemented in broker query API or we can do all the reformat and response dump using org.apache.pinot.tools.admin.command.PostQueryCommand

Guia do colaborador

Direção de pesquisa
Investigue a implementação da API de consulta do broker em PinotBroker.java e a classe PostQueryCommand para ver como as respostas de consulta são atualmente tratadas. Determine onde adicionar a negociação de formato (por exemplo, cabeçalho Accept ou parâmetro de consulta) e como integrar a gravação de arquivos com destinos locais e S3. Considere também o suporte à compressão usando bibliotecas integradas do Java ou de terceiros. Revise quaisquer discussões existentes nos comentários da issue para obter insights adicionais.
Pilha de tecnologia
java
Domain
backendapi
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
JavaApache Pinot
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40