ggml-org/llama.cpp

split: allow --split-max-size option

Offen

#6.259 geöffnet am 23.03.2024

Auf GitHub ansehenContributor Guide
 (4 Kommentare) (1 Reaktion) (0 zugewiesene Personen)C++ (21.764 Forks)batch import
enhancementgood first issuehelp wantedsplit

Repository-Metriken

Stars
 (124.134 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

Motivation

we support --split-max-tensors since:

  • #6135

As mentionned by @Artefact2 in this comment:

allowing to split by file size would be more intuitive (and usually more appropriate since file size is usually the limiting factor, eg 4G for FAT or 50G for HF)

Proposition:

Introduce --split-max-size N(M|G) split strategy to split files in file with a max size of N Megabytes or Gigabytes. As it is not possible to have less than 1 tensor per GGUF, this size is a soft limit.

Contributor Guide

Research-Richtung
Das Issue fordert die Hinzufügung einer Option split max size zum split Befehl. Die bestehende Split Funktionalität befindet sich wahrscheinlich in der llama.cpp Codebasis, möglicherweise in einer Datei wie `llama.cpp` oder `gguf.cpp`. Die Implementierung sollte Größenargumente (z.B. 100M, 2G) parsen und die Ausgabedateien so aufteilen, dass diese Größe nicht überschritten wird. Da eine GGUF Datei jedoch nicht weniger als 1 Tensor pro Datei haben kann, ist die Größe eine weiche Grenze. Der Beitragende sollte sich an der bestehenden split max tensors Implementierung orientieren. Das Issue verweist auf PR #6135 und einen Kommentar von Artefact2 für Kontext. Es gibt keine verknüpften PRs oder Zuweisungen, daher ist das Issue verfügbar, um übernommen zu werden.
Tech Stack
cpp
Domain
cli
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
C++Git
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65