cmu-delphi/delphi-epidata

Improve handling of queries beyond the row limit

Aberta

#1.020 aberto em 1 de nov. de 2022

Ver no GitHub
 (1 comentário) (0 reação) (0 responsável)Python (67 forks)auto 404
code healthhelp wantedrefactor

Métricas do repositório

Stars
 (104 estrelas)
Métricas de merge de PR
 (Mesclagem média 63d 20h) (11 fundiu PRs em 30d)

Description

Previously, we would process a full query until it hit the limit and then just return nothing to the user

https://github.com/cmu-delphi/delphi-epidata/blob/9844600b0de41f7d8e93bfb7d7dff7e0740b0792/src/server/_printer.py#L90-L99

Then I added a LIMIT clause, but in an unintuitive place

https://github.com/cmu-delphi/delphi-epidata/blob/9844600b0de41f7d8e93bfb7d7dff7e0740b0792/src/server/_query.py#L238-L248

  • The LIMIT addition should probably be in the QueryBuilder object.
  • The row counting might be obsolete since the LIMIT query should handle that (cc @melange396 to confirm). Update: the row counting in the printer is needed when dealing with multiple SQL queries; interestingly, these are only used in non-covidcast endpoints
  • run_query probably doesn't need the p: APrinter then.

Guia do colaborador

Direção de pesquisa
Examine a posição atual da cláusula LIMIT em query.py e a contagem de linhas em printer.py. Entenda o objeto QueryBuilder e como as consultas são construídas. Considere mover a adição de LIMIT para QueryBuilder e avalie se run query pode ser simplificado sem o parâmetro printer. Teste com endpoints não covidcast que usam múltiplas consultas SQL.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitPython
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75