ggml-org/llama.cpp

common: download from URL, improve parallel download progress status

Chiusa

#6537 aperta il 8 apr 2024

Vedi su GitHubGuida contributor
 (7 commenti) (0 reazioni) (1 assegnatario)C++ (21.764 fork)batch import
enhancementgood first issuehelp wantedsplit

Metriche repository

Star
 (124.134 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Context

When downloading a sharded model, files are downloaded in parallel, it was added in:

  • #6192

The progressions of each download conflict: image

Need to properly implement CURLOPT_NOPROGRESS for parallel download.

Example in #6515:

main --hf-repo ggml-org/models \
  --hf-file grok-1/grok-1-q4_0-00001-of-00009.gguf \
  --model   models/grok-1-q4_0-00001-of-00009.gguf \
  -ngl 64
   --prompt "I believe the meaning of life is"

Guida contributor

Direzione di ricerca
Esamina l'implementazione esistente del download parallelo aggiunta nella PR #6192, in particolare come vengono gestiti i multipli handle CURL e come viene riportato l'avanzamento. Quindi, ricerca la documentazione di CURLOPT NOPROGRESS per capire come disabilitare l'indicatore di avanzamento predefinito e implementare una callback di avanzamento personalizzata che aggreghi l'avanzamento da tutti gli handle senza produrre output in conflitto. Il codice sorgente rilevante è probabilmente in `common/download.cpp` o simile. Controlla i commenti e la PR collegata #6515 per un esempio di utilizzo. Implementa la soluzione e testala con un download di modello partizionato.
Tech stack
cpp
Dominio
cli
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Clibcurlparallel downloads
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40