Not able to prevent additional mmap-s beside reserved memory

Offen
#1,228 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
28/100
Issue-Typ
Bug
Klarheit
Muss geklärt werden
Aktivitätsstatus
Veraltet
Tech-Stack
c

Rechercherichtung

Beginne damit, das Problem mit den aufgeführten MIMALLOC_*-Einstellungen, disallow_os_alloc=1 und der im Bericht beschriebenen mmap/munmap-Protokollierung nachzustellen. Vergleiche die 64-KiB-Initialisierungsmappings mit den reservierten Huge-Page-Mappings und ermittle, ob das beobachtete Verhalten erwartungsgemäß ist oder auf einen Fehler hindeutet. Die Aufgabe ist abgeschlossen, wenn das mmap-Verhalten und das frühe ENOMEM-Ergebnis erklärt sind und, falls zutreffend, ein fokussierter Regressionstest oder eine eindeutig dokumentierte Einschränkung vorliegt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

I'm using mimalloc as drop-in malloc replacement. For my usecase I want to preallocate big area of 2M huge-pages and make mimalloc use that area for all allocations unless it's fully used in which case I want to fallback to additional memory (regular mmap).

The preallocated area should be enough for 99.9% of runtime and only in extreme cases (e.g. bugs and leaks) I expect additional mmaps.

I'm setting these environment options:

MIMALLOC_RESERVE_HUGE_OS_PAGES=14
MIMALLOC_PURGE_DELAY=-1
MIMALLOC_VERBOSE=1
MIMALLOC_SHOW_STATS=1
MIMALLOC_SHOW_ERRORS=1

I've also added logging around mmap/munmap calls. I expected not to see any additional calls besides initial 14 calls to mmap with 1 GiB size. However I still see numerous mmap calls with size 64kb at init time.

When I tried to setting disallow_os_alloc=1, I've got ENOMEM early in application init, definitely before 14GB were exhausted. I looks like mimalloc tries to allocate from OS even if there is plenty of free memory in preallocated area.

Am I misunderstanding something?

There's similar recent question https://github.com/microsoft/mimalloc/issues/1218, but AFAIU it only applies to arenas larger than 16GB while in my case I have 14GB.

Vorherrschende Sprache
C
Sterne
13.6k
Forks
1.2k
Ø Merge
18 Std. 12 Min.
Gemergte PRs (30 T.)
20

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus microsoft/mimalloc

Alle Issues in microsoft/mimalloc

Ähnliche Issues

Weitere Issues zu C

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.