committed > reserved when preallocating huge pages

Aberta
#1,236 2 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 1 dia

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
4/5
Tempo estimado
3-5 dias
Facilidade para iniciantes
45/100
Tipo de issue
Bug
Clareza
Razoavelmente clara
Status de atividade
Pouca atividade
Stack de tecnologia
c
Domínio
performance

Direção de pesquisa

Comece reproduzindo as estatísticas com MIMALLOC_RESERVE_HUGE_OS_PAGES ou mi_reserve_huge_os_pages* e compare os valores de arena reservados e committed com RSS. Leia primeiro a saída das estatísticas e o comportamento de alocação de huge pages. Está concluído quando a utilização informada puder ser explicada e a quantidade mantida nas free lists estiver disponível ou claramente contabilizada.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

When preallocating huge pages, either by MIMALLOC_RESERVE_HUGE_OS_PAGES or using mi_reserve_huge_os_pages*, I get confusing stats with current version:

[2026-02-27T04:50:08.531440Z] subproc 0
[2026-02-27T04:50:08.531529Z]  pages           peak       total     current       block      total#
[2026-02-27T04:50:08.531570Z]   touched   :     0           0           0                                ok
[2026-02-27T04:50:08.531594Z]   pages     :    61.7 Ki      5.7 Mi     51.4 Ki                           not all freed
[2026-02-27T04:50:08.531616Z]   abandoned :    56.0 Ki      5.5 Mi     45.7 Ki                           not all freed
[2026-02-27T04:50:08.531638Z]   reclaima  :   173.3 Ki
[2026-02-27T04:50:08.531660Z]   reclaimf  :     4.7 Mi
[2026-02-27T04:50:08.531682Z]   reabandon :   681.6 Ki
[2026-02-27T04:50:08.531704Z]   waits     :     1
[2026-02-27T04:50:08.531725Z]   extended  :     0
[2026-02-27T04:50:08.531747Z]   retire    :     0
[2026-02-27T04:50:08.531768Z]   searches  :     2.8 avg
[2026-02-27T04:50:08.531790Z]
[2026-02-27T04:50:08.531812Z]  arenas          peak       total     current       block      total#
[2026-02-27T04:50:08.531833Z]   reserved  :    21.0 GiB    21.0 GiB    21.0 GiB
[2026-02-27T04:50:08.531857Z]   committed :    36.9 GiB    36.9 GiB    36.9 GiB
[2026-02-27T04:50:08.531881Z]   reset     :     0
[2026-02-27T04:50:08.531903Z]   purged    :     0
[2026-02-27T04:50:08.531924Z]   arenas    :     3
[2026-02-27T04:50:08.531946Z]   rollback  :     0
[2026-02-27T04:50:08.531967Z]   mmaps     :    45
[2026-02-27T04:50:08.531988Z]   commits   :     0
[2026-02-27T04:50:08.532010Z]   resets    :     0
[2026-02-27T04:50:08.532031Z]   purges    :     0
[2026-02-27T04:50:08.532053Z]   guarded   :     0
[2026-02-27T04:50:08.532089Z]   heaps     :     1           1           1
[2026-02-27T04:50:08.532111Z]
[2026-02-27T04:50:08.532133Z]  process         peak       total     current       block      total#
[2026-02-27T04:50:08.532154Z]   threads   :   180         180         180
[2026-02-27T04:50:08.532176Z]   numa nodes:     2
[2026-02-27T04:50:08.532198Z]   elapsed   : 28488.945 s
[2026-02-27T04:50:08.532219Z]   process   : user: 1936261.244 s, system: 58167.626 s, faults: 0, peak rss: 3.4 GiB, peak commit: 36.9 GiB
[2026-02-27T04:50:08.532241Z]

This shows 39GB committed and 21GB reserved. I definitely not using any additional memory beside reserved 21GB, not 36 - 21 = 15GB otherwise my RSS would be much larger.

So how am I supposed to get real memory utilization from this? Knowing my program I think it's using 15GB but I can't prove it with code.

Another stat I would like to know is how much of memory is in free lists.

Linguagem predominante
C
Estrelas
13.6k
Forks
1.2k
Merge médio
18h 12min
PRs com merge (30d)
20

Preparar o ambiente

Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de microsoft/mimalloc

Todas as issues de microsoft/mimalloc

Issues semelhantes

Mais issues de C

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.