Bound the total number of Solr queries the API has in flight across concurrent requests
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- api, backend, performance
Direzione di ricerca
Start with api/server.py and Config.solr_max_concurrent_lookups, then review the shared httpx client and connection limits introduced by #310. Use the Solr capacity benchmark in TranslatorSRI/babel-validation#107 and the timing work in #309 to guide decisions about the process-wide limit, fairness, and overload behavior. Done means Solr concurrency is bounded across endpoints and concurrent requests, with queueing or rejection behavior and its timeout outcomes covered.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Nothing bounds how many Solr queries the NameRes API process has in flight in total.
SOLR_MAX_CONCURRENT_LOOKUPS(default 100) is a semaphore per/bulk-lookuprequest (Config.solr_max_concurrent_lookupsinapi/server.py). Its comment notes that the service-wide total is that limit multiplied by the number of bulk requests being served at once, and that the default of 100 "should be revisited once we know the real request rate", pointing at TranslatorSRI/babel-validation#107./lookup,/synonymsand the rest have no limit at all.- #310 replaces the per-query httpx clients with one shared client per event loop. It deliberately leaves that client's pool uncapped (
httpx.Limits(max_connections=None, ...)) to keep today's behaviour. A cap below what/bulk-lookupcan have in flight would make queries wait for a pool slot insideSOLR_TIMEOUT_SECONDS, so a busy pool would show up as Solr timeouts.
So a few concurrent large bulk requests, or a burst of autocomplete traffic, can put hundreds of queries on Solr at once. #306 (six concurrent lookups for "vitamin a", each blocked on Solr for 4-5 minutes) may be this or something else, but nothing in the API stops a pile-up like it.
Questions to settle:
- Where the bound lives. A process-wide semaphore around every Solr request, a capped httpx pool, or both. With a capped pool, the wait for a connection needs its own timeout (httpx's
pooltimeout), separate from Solr's, so thatrecent_queriescan tell "NameRes queued it" apart from "Solr was slow". That probably means another outcome alongsidetimeouts. - Fairness. Whether one
/bulk-lookupcan take every slot, starving/lookup(interactive autocomplete), or whether bulk gets a share. - The number. It should come from Solr's capacity under the measured request mix (babel-validation#107's benchmark), not a guess. It also needs dividing by the number of API replicas, since each replica has its own limit.
- What callers see when it's full: queueing, or a fast 503 with
Retry-After.
Related: #309 (timing /bulk-lookup, which would show how long bulk strings wait for a slot).
- Lingua principale
- Python
- Stelle
- 5
- Fork
- 4
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di NCATSTranslator/NameResolution
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 43/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 66/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Tutte le issue di NCATSTranslator/NameResolution
Issue simili
-
cognition facet:consolidation memory ready size:S
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
proposal
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
j3ko/agent-plugins#29 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 80/100
-
area:cli area:security bug priority:medium
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
rtk-ai/rtk#5127 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 74/100
Gathin23/cleanyourtv#4026 ·
I maintainer di solito rispondono entro 1 giorno