render_list multi threading is not working, it seems
Maintainer thường phản hồi trong vòng 2 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- cpp, postgresql
- Lĩnh vực
- backend, databases, performance
Hướng nghiên cứu
Bắt đầu bằng lệnh render_list sử dụng --num-threads=40 ở mức thu phóng 15, sau đó xem xét cấu hình renderd và các thiết lập PostgreSQL được mô tả trong báo cáo. So sánh mức sử dụng thread và tài nguyên quan sát được với hành vi dự kiến. Công việc được hoàn tất khi xác định được liệu multithreading có hoạt động hay không và ghi lại một thay đổi cụ thể về cấu hình hoặc triển khai nếu không hoạt động.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi Team,
Its rather asking for help, presumably not a bug (not sure).
I have followed this page to configure postgres with OSM planet data and configured mod_tile and renderd.
I have a cloud VM with 350GB RAM and 46 threads to use for this exercise. Hence, I have updated the postgres configure parameters as mentioned below to take most out of available resources.
shared_buffers = 200GB
work_mem = 10GB
maintenance_work_mem = 40GB
effective_cache_size = 40GB
max_connections = 100
I was able to render the tiles successfully, however, my goal is to pre-generate all zoom level tiles and hence executed below command
render_list -m default -a -z 0 -Z 19 --num-threads=40
Till zoom level 13, it was too fast but later started getting slow, I know the number of tiles to be generated gets exponential as zoom level goes up.
So tried with just zoom level only 15 with setup, surprisingly, no major consumption of RAM and the process is too slow even with 40 threads.
render_list -m default -a -z 15 -Z 15 --num-threads=40
Just wondering if this threads usage is working fine or am I missing anything to make most out of available resources to generate tiles quickly? Any suggestions would be greatly appreciated.
-Prem
- Ngôn ngữ chính
- C++
- Star
- 318
- Fork
- 200
- Merge trung bình
- 2 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 22
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của openstreetmap/mod_tile
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 65/100
openstreetmap/mod_tile#292 · 4 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
openstreetmap/mod_tile#477 · 7 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
openstreetmap/mod_tile#466 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
openstreetmap/mod_tile#462 · 7 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
openstreetmap/mod_tile#447 · 3 bình luận · 1 reaction ·
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của openstreetmap/mod_tile
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
objectionary/game-of-life#74 ·
-
bug fmt low priority
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
qbittorrent/qBittorrent#25176 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
lxqt/lxqt-powermanagement#500 · 1 bình luận ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
scp-fs2open/fs2open.github.com#7965 ·
Maintainer thường phản hồi trong vòng 1 ngày