ggml-org/llama.cpp

split: allow --split-max-size option

Aperta

#6259 aperta il 23 mar 2024

Vedi su GitHubGuida contributor
 (4 commenti) (1 reazione) (0 assegnatari)C++ (21.764 fork)batch import
enhancementgood first issuehelp wantedsplit

Metriche repository

Star
 (124.134 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Motivation

we support --split-max-tensors since:

  • #6135

As mentionned by @Artefact2 in this comment:

allowing to split by file size would be more intuitive (and usually more appropriate since file size is usually the limiting factor, eg 4G for FAT or 50G for HF)

Proposition:

Introduce --split-max-size N(M|G) split strategy to split files in file with a max size of N Megabytes or Gigabytes. As it is not possible to have less than 1 tensor per GGUF, this size is a soft limit.

Guida contributor

Direzione di ricerca
La richiesta del problema è di aggiungere un'opzione split max size al comando split. La funzionalità di suddivisione esistente è probabilmente nel codebase di llama.cpp, forse in un file come `llama.cpp` o `gguf.cpp`. L'implementazione dovrebbe analizzare gli argomenti di dimensione (es. 100M, 2G) e suddividere i file di output in modo da non superare quella dimensione. Tuttavia, poiché un file GGUF non può avere meno di 1 tensore per file, la dimensione è un limite morbido. Il contributore dovrebbe guardare all'implementazione esistente di split max tensors per orientamento. Il problema include collegamenti alla PR #6135 e a un commento di Artefact2 per contesto. Nessuna PR collegata o assegnatari, quindi il problema è disponibile per essere preso in carico.
Tech stack
cpp
Dominio
cli
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++Git
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65