render_list multi threading is not working, it seems
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- cpp, postgresql
- Ambito
- backend, databases, performance
Direzione di ricerca
Inizia con il comando render_list usando --num-threads=40 al livello di zoom 15, quindi esamina la configurazione di renderd e le impostazioni di PostgreSQL descritte nel report. Confronta l’utilizzo osservato di thread e risorse con il comportamento previsto. Il lavoro è completato quando viene determinato se il multithreading funziona e viene documentata una modifica concreta alla configurazione o all’implementazione se non funziona.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi Team,
Its rather asking for help, presumably not a bug (not sure).
I have followed this page to configure postgres with OSM planet data and configured mod_tile and renderd.
I have a cloud VM with 350GB RAM and 46 threads to use for this exercise. Hence, I have updated the postgres configure parameters as mentioned below to take most out of available resources.
shared_buffers = 200GB
work_mem = 10GB
maintenance_work_mem = 40GB
effective_cache_size = 40GB
max_connections = 100
I was able to render the tiles successfully, however, my goal is to pre-generate all zoom level tiles and hence executed below command
render_list -m default -a -z 0 -Z 19 --num-threads=40
Till zoom level 13, it was too fast but later started getting slow, I know the number of tiles to be generated gets exponential as zoom level goes up.
So tried with just zoom level only 15 with setup, surprisingly, no major consumption of RAM and the process is too slow even with 40 threads.
render_list -m default -a -z 15 -Z 15 --num-threads=40
Just wondering if this threads usage is working fine or am I missing anything to make most out of available resources to generate tiles quickly? Any suggestions would be greatly appreciated.
-Prem
- Lingua principale
- C++
- Stelle
- 318
- Fork
- 199
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di openstreetmap/mod_tile
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
openstreetmap/mod_tile#292 · 4 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
openstreetmap/mod_tile#499 · 4 commenti ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
openstreetmap/mod_tile#478 · 1 commento ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
openstreetmap/mod_tile#477 · 7 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100
openstreetmap/mod_tile#472 · 1 commento ·
Tutte le issue di openstreetmap/mod_tile
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
mpfaffenberger/privateer_reimagined#658 ·
I maintainer di solito rispondono entro 1 giorno
-
Broken links in the docsAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
microsoft/onnxruntime#33018 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
AXERA-TECH/ax-llm#81 ·
-
enhancement
Difficoltà 2/5 Mezza giornata Idoneità per principianti 78/100
ros-industrial/ros2_canopen#448 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno