Storia-AI/sage

[FEATURE REQUEST] Add progress bar when indexing

Aperta

#59 aperta il 6 ott 2024

Vedi su GitHubGuida contributor
 (9 commenti) (0 reazioni) (0 assegnatari)Python (116 fork)auto 404
good first issuehacktoberfest🔥 difficulty: 1

Metriche repository

Star
 (1267 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Is your feature request related to a problem? Please describe. Indexing (especially local) can take a long time, which causes users to give up.

Describe the solution you'd like We should display a progress bar (e.g. via tqdm).

Additional context Each embedder will have a different way of calculating progress. For instance, with the OpenAIBatchEmbedder, we could have two bars: the first one for chunking + issuing indexing jobs, and the second one based on the status of indexing jobs. For the other synchronous embedders (e.g. Voyage, Gemini, Marqo), we'd just have one.

Guida contributor

Direzione di ricerca
Implementare barre di avanzamento per ogni embedder usando tqdm. Per OpenAIBatchEmbedder, due barre: una per il chunking e l'invio dei lavori, un'altra per lo stato dei lavori. Per gli embedder sincroni, una barra. Assicurarsi che gli aggiornamenti di avanzamento siano accurati.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythontqdm
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70