Design Discussion: Implementing Queueing logic to enable parallel run of index and download logics
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 20/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python, redis
- Ambito
- distributed-systems
Direzione di ricerca
Inizia esaminando la logica esistente di indicizzazione e download e il modo in cui Redis viene attualmente utilizzato, anche se nell’issue non sono indicati file o punti di ingresso. Definisci il design del queueing per eseguire entrambi i processi in parallelo, incluso se gli insiemi Redis mantengono il comportamento richiesto. Il lavoro è completato quando il design è concordato e il meccanismo coordina gli elementi scaricati per l’indicizzazione senza duplicati involontari o problemi di ordinamento.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem Statement:
We are aiming to improve the system by running the index and download logics in parallel. To achieve this, we need to implement a queueing mechanism that can effectively manage these two processes.
Proposed Solution - Use Redis Sets as Queues
How it works:
Utilize a Redis set (or two sets, one for workflows and one for actions) to queue items for processing.
Download logic will insert items to these sets after it downloads it.
Index logic will pop items from these sets and index them.
Pros:
Simplicity: Easy to implement and manage.
No Duplicates: Sets prevent duplicate items by default.
Cons:
Ordering: Redis sets do not guarantee order, which could be an issue if ordering is essential.
What do you think?
- Lingua principale
- Python
- Stelle
- 748
- Fork
- 46
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di CycodeLabs/raven
-
`library` folder not included in the source distributionForse già presa Una pull request collegata a questa issue è aperta o già unita. Apertaquery-library
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
CycodeLabs/raven#183 · 2 commenti ·
-
报错Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 15/100
CycodeLabs/raven#199 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
CycodeLabs/raven#188 · 2 commenti · 1 reazione ·
-
feature
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
CycodeLabs/raven#119 · 6 commenti ·
-
feature indexer
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
CycodeLabs/raven#114 ·
Tutte le issue di CycodeLabs/raven
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
Vector35/community-plugins#376 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
py-econometrics/pyfixest#1883 ·
I maintainer di solito rispondono entro 1 giorno
-
bad links in rfc5890.htmlAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
ietf-tools/rfc2html#81 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
mysql/mysql-operator#60 ·
-
Python: Bug: split_plaintext_paragraph / split_markdown_paragraph can return a chunk larger than max_tokensForse già presa @xThreeh l’ha presa oggi. Apertapython triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
microsoft/semantic-kernel#14566 ·
I maintainer di solito rispondono entro 4 giorni