ggml-org/llama.cpp

common: download from URL, improve parallel download progress status

Fechada

#6.537 aberto em 8 de abr. de 2024

Ver no GitHubGuia do colaborador
 (7 comentários) (0 reação) (1 responsável)C++ (21.825 forks)batch import
enhancementgood first issuehelp wantedsplit

Métricas do repositório

Stars
 (124.401 estrelas)
Métricas de merge de PR
 (Mesclagem média 6d 8h) (389 fundiu PRs em 30d)

Description

Context

When downloading a sharded model, files are downloaded in parallel, it was added in:

  • #6192

The progressions of each download conflict: image

Need to properly implement CURLOPT_NOPROGRESS for parallel download.

Example in #6515:

main --hf-repo ggml-org/models \
  --hf-file grok-1/grok-1-q4_0-00001-of-00009.gguf \
  --model   models/grok-1-q4_0-00001-of-00009.gguf \
  -ngl 64
   --prompt "I believe the meaning of life is"

Guia do colaborador

Direção de pesquisa
Examine a implementação existente de download paralelo adicionada na PR #6192, especificamente como os múltiplos handles CURL são gerenciados e como o progresso é relatado. Em seguida, pesquise a documentação do CURLOPT NOPROGRESS para entender como desabilitar o medidor de progresso padrão e implementar um callback de progresso personalizado que agregue o progresso de todos os handles sem gerar saída conflitante. O código fonte relevante provavelmente está em `common/download.cpp` ou similar. Verifique os comentários e a PR vinculada #6515 para um exemplo de uso. Implemente a solução e teste com um download de modelo fragmentado.
Pilha de tecnologia
cpp
Domain
cli
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Clibcurlparallel downloads
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40