cmu-delphi/delphi-epidata

Improve handling of queries beyond the row limit

Aperta

#1020 aperta il 1 nov 2022

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (67 fork)auto 404
code healthhelp wantedrefactor

Metriche repository

Star
 (104 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Previously, we would process a full query until it hit the limit and then just return nothing to the user

https://github.com/cmu-delphi/delphi-epidata/blob/9844600b0de41f7d8e93bfb7d7dff7e0740b0792/src/server/_printer.py#L90-L99

Then I added a LIMIT clause, but in an unintuitive place

https://github.com/cmu-delphi/delphi-epidata/blob/9844600b0de41f7d8e93bfb7d7dff7e0740b0792/src/server/_query.py#L238-L248

  • The LIMIT addition should probably be in the QueryBuilder object.
  • The row counting might be obsolete since the LIMIT query should handle that (cc @melange396 to confirm). Update: the row counting in the printer is needed when dealing with multiple SQL queries; interestingly, these are only used in non-covidcast endpoints
  • run_query probably doesn't need the p: APrinter then.

Guida contributor

Direzione di ricerca
Esamina la posizione corrente della clausola LIMIT in query.py e il conteggio delle righe in printer.py. Comprendi l'oggetto QueryBuilder e come vengono costruite le query. Considera di spostare l'aggiunta di LIMIT in QueryBuilder e valuta se run query può essere semplificato senza il parametro printer. Testa con endpoint non covidcast che utilizzano più query SQL.
Tech stack
python
Dominio
backend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75