ggml-org/llama.cpp

common: download from URL, improve parallel download progress status

Fermée

#6 537 ouverte le 8 avr. 2024

Voir sur GitHubGuide contributeur
 (7 commentaires) (0 réaction) (1 personne assignée)C++ (21 825 forks)batch import
enhancementgood first issuehelp wantedsplit

Métriques du dépôt

Stars
 (124 401 étoiles)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

Context

When downloading a sharded model, files are downloaded in parallel, it was added in:

  • #6192

The progressions of each download conflict: image

Need to properly implement CURLOPT_NOPROGRESS for parallel download.

Example in #6515:

main --hf-repo ggml-org/models \
  --hf-file grok-1/grok-1-q4_0-00001-of-00009.gguf \
  --model   models/grok-1-q4_0-00001-of-00009.gguf \
  -ngl 64
   --prompt "I believe the meaning of life is"

Guide contributeur

Direction de recherche
Examinez l'implémentation existante de téléchargement parallèle ajoutée dans la PR #6192, en particulier la gestion des multiples handles CURL et la manière dont la progression est rapportée. Ensuite, recherchez la documentation de CURLOPT NOPROGRESS pour comprendre comment désactiver l'indicateur de progression par défaut et implémenter un rappel de progression personnalisé qui agrège la progression de tous les handles sans générer de sorties conflictuelles. Le code source pertinent se trouve probablement dans `common/download.cpp` ou similaire. Consultez les commentaires et la PR liée #6515 pour un exemple d'utilisation. Implémentez la solution et testez la avec un téléchargement de modèle fragmenté.
Stack technique
cpp
Domaine
cli
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Clibcurlparallel downloads
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40