ggml-org/llama.cpp

split: allow --split-max-size option

Ouverte

#6 259 ouverte le 23 mars 2024

Voir sur GitHubGuide contributeur
 (4 commentaires) (1 réaction) (0 personne assignée)C++ (21 786 forks)batch import
enhancementgood first issuehelp wantedsplit

Métriques du dépôt

Stars
 (124 222 étoiles)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

Motivation

we support --split-max-tensors since:

  • #6135

As mentionned by @Artefact2 in this comment:

allowing to split by file size would be more intuitive (and usually more appropriate since file size is usually the limiting factor, eg 4G for FAT or 50G for HF)

Proposition:

Introduce --split-max-size N(M|G) split strategy to split files in file with a max size of N Megabytes or Gigabytes. As it is not possible to have less than 1 tensor per GGUF, this size is a soft limit.

Guide contributeur

Direction de recherche
La demande de cette issue est d'ajouter une option split max size à la commande split. La fonctionnalité de division existante se trouve probablement dans la base de code de llama.cpp, peut être dans un fichier comme `llama.cpp` ou `gguf.cpp`. L'implémentation doit analyser les arguments de taille (ex. : 100M, 2G) et diviser les fichiers de sortie pour ne pas dépasser cette taille. Cependant, comme un fichier GGUF ne peut pas avoir moins d'un tenseur par fichier, la taille est une limite souple. Le contributeur doit se référer à l'implémentation existante de split max tensors pour s'orienter. L'issue contient des liens vers la PR #6135 et un commentaire d'Artefact2 pour le contexte. Aucune PR liée ou personne assignée, donc l'issue est disponible pour être reprise.
Stack technique
cpp
Domaine
cli
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++Git
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65