Not able to prevent additional mmap-s beside reserved memory
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 28/100
- Issue-Typ
- Bug
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- c
- Bereich
- operating-systems, performance
Rechercherichtung
Beginne damit, das Problem mit den aufgeführten MIMALLOC_*-Einstellungen, disallow_os_alloc=1 und der im Bericht beschriebenen mmap/munmap-Protokollierung nachzustellen. Vergleiche die 64-KiB-Initialisierungsmappings mit den reservierten Huge-Page-Mappings und ermittle, ob das beobachtete Verhalten erwartungsgemäß ist oder auf einen Fehler hindeutet. Die Aufgabe ist abgeschlossen, wenn das mmap-Verhalten und das frühe ENOMEM-Ergebnis erklärt sind und, falls zutreffend, ein fokussierter Regressionstest oder eine eindeutig dokumentierte Einschränkung vorliegt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
I'm using mimalloc as drop-in malloc replacement. For my usecase I want to preallocate big area of 2M huge-pages and make mimalloc use that area for all allocations unless it's fully used in which case I want to fallback to additional memory (regular mmap).
The preallocated area should be enough for 99.9% of runtime and only in extreme cases (e.g. bugs and leaks) I expect additional mmaps.
I'm setting these environment options:
MIMALLOC_RESERVE_HUGE_OS_PAGES=14
MIMALLOC_PURGE_DELAY=-1
MIMALLOC_VERBOSE=1
MIMALLOC_SHOW_STATS=1
MIMALLOC_SHOW_ERRORS=1
I've also added logging around mmap/munmap calls. I expected not to see any additional calls besides initial 14 calls to mmap with 1 GiB size. However I still see numerous mmap calls with size 64kb at init time.
When I tried to setting disallow_os_alloc=1, I've got ENOMEM early in application init, definitely before 14GB were exhausted. I looks like mimalloc tries to allocate from OS even if there is plenty of free memory in preallocated area.
Am I misunderstanding something?
There's similar recent question https://github.com/microsoft/mimalloc/issues/1218, but AFAIU it only applies to arenas larger than 16GB while in my case I have 14GB.
- Vorherrschende Sprache
- C
- Sterne
- 13.6k
- Forks
- 1.2k
- Ø Merge
- 18 Std. 12 Min.
- Gemergte PRs (30 T.)
- 20
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus microsoft/mimalloc
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
Building mimalloc with `-Wundef` compiler flag logs many warnings on undefined macrosEvtl. vergeben @vstinner hat das vor 1 Tag übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 64/100
microsoft/mimalloc#1506 · 5 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
stale
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
microsoft/mimalloc#1113 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
microsoft/mimalloc#886 · 4 Kommentare · 1 Reaktion ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 64/100
microsoft/mimalloc#368 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in microsoft/mimalloc
Ähnliche Issues
-
needs triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
389ds/389-ds-base#8157 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 67/100
coolsnowwolf/lede#14305 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
Maintainer antworten meist innerhalb von 1 Tag
-
Needs-Triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
Maintainer antworten meist innerhalb von 2 Tagen