Program hangs forever when adding two items at same path
@rgaudin y travaille déjà.
Depuis le 28/4/2026.
Évaluation
Cette issue n'a pas encore été évaluée.
Description
Given the following program:
from zimscraperlib.zim import Creator
from pathlib import Path
from zimscraperlib.zim import metadata
creator = Creator(Path("tests.zim"), "index.html").config_metadata(
std_metadata=metadata.DEFAULT_DEV_ZIM_METADATA
)
creator.start()
creator.add_item_for("index.html", "Main Page", content="Main", is_front=True )
for i in range(10):
creator.add_item_for(f"content{i}", content="P" * 1000000)
creator.add_item_for("conflict", content="Foo")
creator.add_item_for("conflict", content="Bar")
I get following logs:
Traceback (most recent call last):
File "/home/benoit/Tools/zimcreateconflict.py", line 17, in <module>
creator.add_item_for("conflict", content="Bar")
~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "<@beartype(zimscraperlib.zim.creator.Creator.add_item_for) at 0x7b7c6f51f5e0>", line 248, in add_item_for
File "/home/benoit/Tools/venv3.14/lib/python3.14/site-packages/zimscraperlib/zim/creator.py", line 365, in add_item_for
self.add_item(
~~~~~~~~~~~~~^
StaticItem(
^^^^^^^^^^^
...<10 lines>...
duplicate_ok=duplicate_ok,
^^^^^^^^^^^^^^^^^^^^^^^^^^
)
^
File "<@beartype(zimscraperlib.zim.creator.Creator.add_item) at 0x7b7c6f51f740>", line 83, in add_item
File "/home/benoit/Tools/venv3.14/lib/python3.14/site-packages/zimscraperlib/zim/creator.py", line 410, in add_item
raise exc
File "/home/benoit/Tools/venv3.14/lib/python3.14/site-packages/zimscraperlib/zim/creator.py", line 407, in add_item
super().add_item(item)
~~~~~~~~~~~~~~~~^^^^^^
File "libzim/libzim.pyx", line 517, in libzim._Creator.add_item
RuntimeError: Impossible to add C/conflict
dirent's title to add is : conflict
existing dirent's title is : conflict
Which is normal. Scraper should not be doing this kind of silly thing.
What is abnormal is that the program hangs forever, waiting for something to complete. This should not happen (like the program should stop almost immediately).
I don't know it this is a pure libzim issue problem or something related to python-libzim (or python-scraperlib) so I'm asking for help to have confirmation regarding if you achieve to reproduce the problem in pure C++.
What seems to be key to reproduce the issue is to fill at least one cluster ; the more cluster we fill the hardest it is stop stop (with only range(10) in code above, python is still responding to Ctrl-C input. With range(100), I had to kill the program. With Without this initial content filling a cluster, everything works as expected (program terminates).
This has been discovered in https://github.com/openzim/maps/issues/110
- Langage dominant
- Python
- Étoiles
- 31
- Forks
- 31
- Merge moyen
- 2 j 5 h
- PR mergées (30 j)
- 3
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de openzim/python-scraperlib
-
HTML rewriting: also rewrite `poster` attributePeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
openzim/python-scraperlib#339 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
openzim/python-scraperlib#292 ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 68/100
openzim/python-scraperlib#346 ·
-
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/`Peut-être pris @anshuman83-40 l’a pris il y a 6 jours. Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 45/100
openzim/python-scraperlib#340 ·
-
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.frPeut-être à nouveau libre @benoit74 l’a pris il y a 50 jours, et aucune pull request n’est ouverte. Ouverte
openzim/python-scraperlib#334 · 1 personne assignée ·
Toutes les issues de openzim/python-scraperlib
Issues similaires
-
Update Python support to 3.15Ouvertepython-version
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
Les mainteneurs répondent en général sous 1 jour
-
bug javascript P2-medium python release:v3.1
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
adrirubio/claude-deck#546 ·
Les mainteneurs répondent en général sous 1 jour
-
area: desktop area: website priority: P2 type: feature
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
appandflow/stim#3411 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 Moins d'une heure Accessibilité débutants 88/100
baptistehamon/lsapy#185 ·
Les mainteneurs répondent en général sous 1 jour