Surface OS page-cache stats (Buffers/Cached) in /status?full=true
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 1/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- observability-sre
Hướng nghiên cứu
Read the issue update and #287 for the current node-exporter approach; #231 documents why the proposed /status implementation was removed. The issue says api/solr.py exists only on the unmerged #253 branch, and Solr's metrics API does not expose these page-cache values. This issue is superseded, so its requested /status change is not a viable completion target.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
[!NOTE]
Superseded by #287. Kept open pending a decision on that issue — see the update below for why the approach proposed here is not achievable from/status.
Update (2026-07-24): why this cannot be served from /status
Investigated while building #231 (/status metrics). The premise of this issue is right — free_physical_memory_bytes is misleading, and #231 removed that field for exactly the reason described below. But the proposed mechanism turns out not to be achievable, for two independent reasons:
1. Solr's metrics API cannot report Buffers/Cached. Verified empirically against Solr 9.10 (/admin/metrics, all groups): the JVM's OperatingSystemMXBean exposes only freePhysicalMemorySize (= Linux MemFree, which excludes page cache) and totalPhysicalMemorySize. There is no Buffers/Cached/MemAvailable anywhere in Solr's metrics output, so there is nothing for NameRes to fetch.
2. The suggested implementation point cannot read the Solr host. The plan above ("read inside the Solr container ... implementation belongs in api/solr.py (SolrClient.fetch_status)") conflates two different machines: that code runs in the NameRes API process, which reaches Solr only over HTTP — it cannot read the Solr container's /proc/meminfo. Reading its own /proc/meminfo reports the API node, which equals the Solr node only when the two are co-located. This was prototyped in #231 as an api_node_memory block and then removed, because a figure labelled as Solr's page cache that silently isn't is worse than no figure at all. (Separately, api/solr.py exists only on the #253 branch, which is not being merged to main.)
So the "Alternative" already noted in this issue — a node-level exporter — is in fact the only workable path. That is now tracked in #287.
What /status?full=true does provide as of #231
Enough to confirm the #265 heap reduction landed and to size the pod, though not page-cache occupancy:
solr_metrics.jvm—heap_used_mb/heap_max_mb/heap_used_pct,gc_count/gc_time_mssolr_metrics.host—total_physical_mem_mb,available_processors,system_load_average,system_cpu_load
free_physical_mem_mb was deliberately not carried over, for the reason this issue opens with. Solr's GC logs now also go to stdout, so they are visible in Grafana next to whatever a node exporter would publish.
Summary
solr.os.free_physical_memory_bytes alone is misleading on Linux — what matters for Solr/Lucene query performance is Buffers + Cached from /proc/meminfo. The currently exposed free_physical_memory_bytes reports as 632 KB on the production node, which is alarming-looking but technically expected on Linux even when there is plenty of cache available.
This makes it hard to tell at a glance whether the heap-vs-cache fix proposed in #265 has actually freed enough memory for the OS page cache to hold a useful portion of the 142 GB index.
Suggested action
Add a solr.os.linux_meminfo block to the /status?full=true payload populated from /proc/meminfo (read inside the Solr container — readable by any user). Surface at least:
MemAvailable_bytesCached_bytesBuffers_bytes
Implementation belongs in api/solr.py (SolrClient.fetch_status) since this is part of the Solr-host story rather than the API process. The existing parse_os helper can be extended.
Alternative: scrape from a node-exporter sidecar and link the dashboard from /status. Either is fine; the goal is one place to look during incident triage.
Why this matters
After deploying the heap reduction in #265, we want a single check that confirms the cache is actually being populated, not just that the heap was reduced. Right now we would have to SSH into the Solr container to read /proc/meminfo directly.
- Ngôn ngữ chính
- Python
- Star
- 5
- Fork
- 4
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của NCATSTranslator/NameResolution
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 43/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 66/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Tất cả issue của NCATSTranslator/NameResolution
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 86/100
benchflow-ai/skillsbench#1090 ·
-
Missing unit tests for human-readable date/time formatters in utils/datetime.pyCó thể đã có người làm @prabhleen2317 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
apache/iceberg-python#4387 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[BUG] Hermes MCP adapter drops cwd, extra passthrough keys and the SSE transport when writing config.yamlCó thể đã có người làm @Parth-Vasave đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
microsoft/apm#3749 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
backend bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
NVIDIA/numba-cuda-mlir#467 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 3 ngày