Storia-AI/sage

[FEATURE REQUEST] Add progress bar when indexing

Aberta

#59 aberto em 6 de out. de 2024

Ver no GitHubGuia do colaborador
 (9 comentários) (0 reação) (0 responsável)Python (116 forks)auto 404
good first issuehacktoberfest🔥 difficulty: 1

Métricas do repositório

Stars
 (1.267 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Is your feature request related to a problem? Please describe. Indexing (especially local) can take a long time, which causes users to give up.

Describe the solution you'd like We should display a progress bar (e.g. via tqdm).

Additional context Each embedder will have a different way of calculating progress. For instance, with the OpenAIBatchEmbedder, we could have two bars: the first one for chunking + issuing indexing jobs, and the second one based on the status of indexing jobs. For the other synchronous embedders (e.g. Voyage, Gemini, Marqo), we'd just have one.

Guia do colaborador

Direção de pesquisa
Implemente barras de progresso para cada embedder usando tqdm. Para OpenAIBatchEmbedder, duas barras: uma para chunking e emissão de jobs, outra para status dos jobs. Para embedders síncronos, uma barra. Garanta que as atualizações de progresso sejam precisas.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythontqdm
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70