Profile the ingest worker with Pyroscope
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- postgresql, python
- Ambito
- backend, observability
Direzione di ricerca
Read tagbase_server/tagbase_server/ingest_worker.py and services/observability/config.cloud.alloy, then trace the existing ingest.parse_etuff span and benchmark workflow. The scope also calls for updates to the wiki Observability and Installation pages. Done means profiles show flame graphs for parse, row build, DataFrame and COPY in Grafana Cloud, while profiling stays off by default and does not change ingest time when disabled.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Part of #476
We need CPU and memory profiles of the Python ingest path to decide which hypotheses are worth building.
Scope
- Add the Pyroscope Python SDK to the ingest worker (
tagbase_server/tagbase_server/ingest_worker.py), off by default, enabled by an environment variable. - Send profiles through Alloy to Grafana Cloud Profiles in
services/observability/config.cloud.alloy(pyroscope.receive_httpandpyroscope.write). The local LGTM stack is unchanged. - Tag profiles with
submission_idand the ingest phase, and link spans to profiles so a slowingest.parse_etuffspan opens its flame graph. - Document enabling it on the wiki Observability and Installation pages.
Done when
- A benchmark run with profiling enabled shows flame graphs for parse, row build, DataFrame and
COPYin Grafana Cloud. - With profiling disabled, ingest time is unchanged.
- Lingua principale
- Python
- Stelle
- 7
- Fork
- 1
- Merge medio
- 3g 18h
- PR unite (30g)
- 25
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di tagbase/tagbase-server
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
tagbase/tagbase-server#490 ·
I maintainer di solito rispondono entro 3 giorni
-
python
Difficoltà 1/5 1-3 ore Idoneità per principianti 88/100
tagbase/tagbase-server#466 ·
I maintainer di solito rispondono entro 3 giorni
-
storage
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
tagbase/tagbase-server#465 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
tagbase/tagbase-server#448 ·
I maintainer di solito rispondono entro 3 giorni
-
tests
Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100
tagbase/tagbase-server#482 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di tagbase/tagbase-server
Issue simili
-
question
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
vllm-project/vime#524 ·
I maintainer di solito rispondono entro 7 giorni
-
WOPI editor page is scrollable by a few pixels, which breaks scrolling in the document (Firefox)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
suitenumerique/drive#969 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
theupdateframework/python-tuf#3044 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
FAIRmat-NFDI/pynxtools#861 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
NVIDIA/nsight-python#88 ·
I maintainer di solito rispondono entro 1 giorno