sphinx-doc/sphinx

Cannot recover from MemoryErrors

Fermée

#7 635 ouverte le 8 mai 2020

Voir sur GitHubGuide contributeur
 (2 commentaires) (0 réaction) (0 personne assignée)Python (1 985 forks)batch import
help wantedtype:bug

Métriques du dépôt

Stars
 (5 625 étoiles)
Métriques de merge PR
 (Merge moyen 10j 11h) (11 PRs mergées en 30 j)

Description

We are using recommonmark with sphinx to parse 2.3k+ md files and experiencing excesive memory usage. Running 64 bit we see a peak of about 19gb of memory usage and an execution time around 30 minutes. On many machines (or running 32 bit) this is not doable. The majority of the markdown files have an rst label, and some of them have references to these labels. Are there configuration options that may be affecting this? Is there a way to review what's actually taking up this memory?

Guide contributeur

Direction de recherche
Investigate memory usage during parsing of many markdown files with recommonmark. Use memory profiler or tracemalloc to identify peak memory allocations. Compare with direct Python memory usage and explore Sphinx's handling of large document sets. Look at recommonmark's parser and Sphinx's build process in sphinx/builders/ for potential optimizations or configuration options to reduce memory footprint.
Stack technique
python
Domaine
documentationperformance
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
PythonMemory profilingSphinx internalsCPython debugging
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
10