Program hangs forever when adding two items at same path
@rgaudin já está trabalhando nisso.
Desde 28/4/2026.
Avaliação
Esta issue ainda não foi avaliada.
Descrição
Given the following program:
from zimscraperlib.zim import Creator
from pathlib import Path
from zimscraperlib.zim import metadata
creator = Creator(Path("tests.zim"), "index.html").config_metadata(
std_metadata=metadata.DEFAULT_DEV_ZIM_METADATA
)
creator.start()
creator.add_item_for("index.html", "Main Page", content="Main", is_front=True )
for i in range(10):
creator.add_item_for(f"content{i}", content="P" * 1000000)
creator.add_item_for("conflict", content="Foo")
creator.add_item_for("conflict", content="Bar")
I get following logs:
Traceback (most recent call last):
File "/home/benoit/Tools/zimcreateconflict.py", line 17, in <module>
creator.add_item_for("conflict", content="Bar")
~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "<@beartype(zimscraperlib.zim.creator.Creator.add_item_for) at 0x7b7c6f51f5e0>", line 248, in add_item_for
File "/home/benoit/Tools/venv3.14/lib/python3.14/site-packages/zimscraperlib/zim/creator.py", line 365, in add_item_for
self.add_item(
~~~~~~~~~~~~~^
StaticItem(
^^^^^^^^^^^
...<10 lines>...
duplicate_ok=duplicate_ok,
^^^^^^^^^^^^^^^^^^^^^^^^^^
)
^
File "<@beartype(zimscraperlib.zim.creator.Creator.add_item) at 0x7b7c6f51f740>", line 83, in add_item
File "/home/benoit/Tools/venv3.14/lib/python3.14/site-packages/zimscraperlib/zim/creator.py", line 410, in add_item
raise exc
File "/home/benoit/Tools/venv3.14/lib/python3.14/site-packages/zimscraperlib/zim/creator.py", line 407, in add_item
super().add_item(item)
~~~~~~~~~~~~~~~~^^^^^^
File "libzim/libzim.pyx", line 517, in libzim._Creator.add_item
RuntimeError: Impossible to add C/conflict
dirent's title to add is : conflict
existing dirent's title is : conflict
Which is normal. Scraper should not be doing this kind of silly thing.
What is abnormal is that the program hangs forever, waiting for something to complete. This should not happen (like the program should stop almost immediately).
I don't know it this is a pure libzim issue problem or something related to python-libzim (or python-scraperlib) so I'm asking for help to have confirmation regarding if you achieve to reproduce the problem in pure C++.
What seems to be key to reproduce the issue is to fill at least one cluster ; the more cluster we fill the hardest it is stop stop (with only range(10) in code above, python is still responding to Ctrl-C input. With range(100), I had to kill the program. With Without this initial content filling a cluster, everything works as expected (program terminates).
This has been discovered in https://github.com/openzim/maps/issues/110
- Linguagem predominante
- Python
- Estrelas
- 31
- Forks
- 31
- Merge médio
- 2d 5h
- PRs com merge (30d)
- 3
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de openzim/python-scraperlib
-
HTML rewriting: also rewrite `poster` attributeTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
openzim/python-scraperlib#339 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
openzim/python-scraperlib#292 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 68/100
openzim/python-scraperlib#346 ·
-
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/`Talvez já em andamento @anshuman83-40 assumiu há 6 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100
openzim/python-scraperlib#340 ·
-
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.frTalvez livre de novo @benoit74 assumiu há 50 dias e não há nenhum pull request aberto. Aberta
openzim/python-scraperlib#334 · 1 responsável ·
Todas as issues de openzim/python-scraperlib
Issues semelhantes
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
awslabs/visual-asset-management-system#414 ·
Mantenedores costumam responder em até 1 dia
-
bug v1 v2
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
modelcontextprotocol/python-sdk#3670 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
aicell-lab/bioengine#232 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
modelscope/evalscope#1836 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100