ggml-org/llama.cpp

common: download from URL, improve parallel download progress status

Geschlossen

#6.537 geöffnet am 08.04.2024

Auf GitHub ansehenContributor Guide
 (7 Kommentare) (0 Reaktionen) (1 zugewiesene Person)C++ (21.764 Forks)batch import
enhancementgood first issuehelp wantedsplit

Repository-Metriken

Stars
 (124.134 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

Context

When downloading a sharded model, files are downloaded in parallel, it was added in:

  • #6192

The progressions of each download conflict: image

Need to properly implement CURLOPT_NOPROGRESS for parallel download.

Example in #6515:

main --hf-repo ggml-org/models \
  --hf-file grok-1/grok-1-q4_0-00001-of-00009.gguf \
  --model   models/grok-1-q4_0-00001-of-00009.gguf \
  -ngl 64
   --prompt "I believe the meaning of life is"

Contributor Guide

Research-Richtung
Untersuche die in PR #6192 hinzugefügte bestehende parallele Download Implementierung, insbesondere wie mehrere CURL Handles verwaltet werden und wie der Fortschritt gemeldet wird. Recherchiere dann die CURLOPT NOPROGRESS Dokumentation, um zu verstehen, wie der Standard Fortschrittsanzeiger deaktiviert und ein benutzerdefinierter Fortschritts Callback implementiert werden kann, der den Fortschritt aller Handles aggregiert, ohne dass es zu konfliktären Ausgaben kommt. Der relevante Quellcode befindet sich wahrscheinlich in `common/download.cpp` oder ähnlich. Überprüfe die Kommentare und den verlinkten PR #6515 für ein Beispiel zur Verwendung. Implementiere die Lösung und teste sie mit einem heruntergeladenen fragmentierten Modell.
Tech Stack
cpp
Domain
cli
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Clibcurlparallel downloads
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40