committed > reserved when preallocating huge pages

Offen
#1,236 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
45/100
Issue-Typ
Bug
Klarheit
Größtenteils klar
Aktivitätsstatus
Ruhig
Tech-Stack
c
Bereich
performance

Rechercherichtung

Beginne damit, die Statistiken mit MIMALLOC_RESERVE_HUGE_OS_PAGES oder mi_reserve_huge_os_pages* zu reproduzieren, und vergleiche die reservierten und committed Arena-Werte mit RSS. Lies zuerst die Statistikausgabe und das Verhalten bei der Huge-Page-Zuweisung. Als erledigt gilt die Aufgabe, wenn die gemeldete Auslastung erklärbar ist und die in den free lists gehaltene Menge verfügbar oder eindeutig berücksichtigt ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

When preallocating huge pages, either by MIMALLOC_RESERVE_HUGE_OS_PAGES or using mi_reserve_huge_os_pages*, I get confusing stats with current version:

[2026-02-27T04:50:08.531440Z] subproc 0
[2026-02-27T04:50:08.531529Z]  pages           peak       total     current       block      total#
[2026-02-27T04:50:08.531570Z]   touched   :     0           0           0                                ok
[2026-02-27T04:50:08.531594Z]   pages     :    61.7 Ki      5.7 Mi     51.4 Ki                           not all freed
[2026-02-27T04:50:08.531616Z]   abandoned :    56.0 Ki      5.5 Mi     45.7 Ki                           not all freed
[2026-02-27T04:50:08.531638Z]   reclaima  :   173.3 Ki
[2026-02-27T04:50:08.531660Z]   reclaimf  :     4.7 Mi
[2026-02-27T04:50:08.531682Z]   reabandon :   681.6 Ki
[2026-02-27T04:50:08.531704Z]   waits     :     1
[2026-02-27T04:50:08.531725Z]   extended  :     0
[2026-02-27T04:50:08.531747Z]   retire    :     0
[2026-02-27T04:50:08.531768Z]   searches  :     2.8 avg
[2026-02-27T04:50:08.531790Z]
[2026-02-27T04:50:08.531812Z]  arenas          peak       total     current       block      total#
[2026-02-27T04:50:08.531833Z]   reserved  :    21.0 GiB    21.0 GiB    21.0 GiB
[2026-02-27T04:50:08.531857Z]   committed :    36.9 GiB    36.9 GiB    36.9 GiB
[2026-02-27T04:50:08.531881Z]   reset     :     0
[2026-02-27T04:50:08.531903Z]   purged    :     0
[2026-02-27T04:50:08.531924Z]   arenas    :     3
[2026-02-27T04:50:08.531946Z]   rollback  :     0
[2026-02-27T04:50:08.531967Z]   mmaps     :    45
[2026-02-27T04:50:08.531988Z]   commits   :     0
[2026-02-27T04:50:08.532010Z]   resets    :     0
[2026-02-27T04:50:08.532031Z]   purges    :     0
[2026-02-27T04:50:08.532053Z]   guarded   :     0
[2026-02-27T04:50:08.532089Z]   heaps     :     1           1           1
[2026-02-27T04:50:08.532111Z]
[2026-02-27T04:50:08.532133Z]  process         peak       total     current       block      total#
[2026-02-27T04:50:08.532154Z]   threads   :   180         180         180
[2026-02-27T04:50:08.532176Z]   numa nodes:     2
[2026-02-27T04:50:08.532198Z]   elapsed   : 28488.945 s
[2026-02-27T04:50:08.532219Z]   process   : user: 1936261.244 s, system: 58167.626 s, faults: 0, peak rss: 3.4 GiB, peak commit: 36.9 GiB
[2026-02-27T04:50:08.532241Z]

This shows 39GB committed and 21GB reserved. I definitely not using any additional memory beside reserved 21GB, not 36 - 21 = 15GB otherwise my RSS would be much larger.

So how am I supposed to get real memory utilization from this? Knowing my program I think it's using 15GB but I can't prove it with code.

Another stat I would like to know is how much of memory is in free lists.

Vorherrschende Sprache
C
Sterne
13.6k
Forks
1.2k
Ø Merge
18 Std. 12 Min.
Gemergte PRs (30 T.)
20

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus microsoft/mimalloc

Alle Issues in microsoft/mimalloc

Ähnliche Issues

Weitere Issues zu C

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.