[19] [Bug] [Retrieval] File document IDs depend on how the path is spelled; uppercase extensions are skipped
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
Direzione di ricerca
Start with the source assignment in retrieval/loaders/text_loader.py (around line 55), then csv_loader.py, json_loader.py, pdf_loader.py and pdf_ocr_loader.py, and the rglob calls in directory mode. The HuggingFace source strings are in huggingface_loader.py near lines 138 and 180. Done means the same file gives the same id through different path spellings, and SCAN.PDF-style files are picked up. Decide the base for relative paths first, since that changes existing ids.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Description
- IDs follow the path spelling. The file loaders use
str(path)as the source (retrieval/loaders/text_loader.py:55,csv_loader.py:86,json_loader.py:185,pdf_loader.py:83), and the source becomes the document id.kb/a.txt,/abs/kb/a.txtandkb/../kb/a.txtgive three different ids for the same file. Running from cron with a different working directory, or in a container with a different mount path, re-ingests the whole corpus as new documents, and the old copies are never removed. - HuggingFace sources are incomplete. They are
"{dataset_name}/{split}#..."(retrieval/loaders/huggingface_loader.py:138,:180). A config name or revision passed throughdataset_kwargsisn't included, so two configs of the same dataset collide. - Extensions match case-sensitively. Directory mode uses
rglob("*.pdf"),"*.csv"and similar (retrieval/loaders/pdf_loader.py:155,pdf_ocr_loader.py:231,csv_loader.py:156,json_loader.py:263), soSCAN.PDFandDATA.CSVare silently skipped.
Proposed fix
- Use the path relative to the directory passed in, or a resolved absolute path, as the source. Relative is more portable.
- Include the config and revision in HuggingFace sources.
- Match extensions case-insensitively.
Acceptance criteria
- The same file loaded through different path spellings gets the same id.
- Uppercase extensions are picked up in directory mode.
- Lingua principale
- Python
- Stelle
- 230
- Fork
- 57
- Merge medio
- 2g 18h
- PR unite (30g)
- 34
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di RailtownAI/railtracks
-
area:integrations bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
RailtownAI/railtracks#1723 ·
I maintainer di solito rispondono entro 1 giorno
-
[08] [Bug] [Retrieval] `OpenAIEmbedding`/`AzureEmbedding` have no default batch size, so the docs examples crashForse di nuovo libera @Shivani120703 l’ha presa 7 giorni fa e non c’è nessuna pull request aperta. Apertaarea:retrieval
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
RailtownAI/railtracks#1653 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
area:retrieval
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
RailtownAI/railtracks#1652 ·
I maintainer di solito rispondono entro 1 giorno
-
area:retrieval
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
RailtownAI/railtracks#1651 ·
I maintainer di solito rispondono entro 1 giorno
-
URL attachments with a non-image extension (.mp3, .mp4, .docx) are silently sent as imagesForse già presa @CoronRing l’ha presa 7 giorni fa. Apertaarea:llm bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
RailtownAI/railtracks#1645 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di RailtownAI/railtracks
Issue simili
-
Use mhctools predictor_required=False for saved-result rescoringForse già presa @iskandr l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 79/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
521xueweihan/HelloGitHub#4051 · 1 commento ·
-
bug documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
awslabs/visual-asset-management-system#514 ·
I maintainer di solito rispondono entro 1 giorno
-
backend bug spec:REQ-053
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
nolte/kamerplanter#2547 ·
I maintainer di solito rispondono entro 1 giorno