ggml-org/llama.cpp

split: allow --split-max-size option

Aberta

#6.259 aberto em 23 de mar. de 2024

Ver no GitHubGuia do colaborador
 (4 comentários) (1 reação) (0 responsável)C++ (21.781 forks)batch import
enhancementgood first issuehelp wantedsplit

Métricas do repositório

Stars
 (124.194 estrelas)
Métricas de merge de PR
 (Mesclagem média 6d 8h) (389 fundiu PRs em 30d)

Description

Motivation

we support --split-max-tensors since:

  • #6135

As mentionned by @Artefact2 in this comment:

allowing to split by file size would be more intuitive (and usually more appropriate since file size is usually the limiting factor, eg 4G for FAT or 50G for HF)

Proposition:

Introduce --split-max-size N(M|G) split strategy to split files in file with a max size of N Megabytes or Gigabytes. As it is not possible to have less than 1 tensor per GGUF, this size is a soft limit.

Guia do colaborador

Direção de pesquisa
A issue solicita a adição de uma opção split max size ao comando split. A funcionalidade de divisão existente provavelmente está na base de código do llama.cpp, possivelmente em um arquivo como `llama.cpp` ou `gguf.cpp`. A implementação deve analisar argumentos de tamanho (ex.: 100M, 2G) e dividir os arquivos de saída para não exceder esse tamanho. No entanto, como um arquivo GGUF não pode ter menos de 1 tensor por arquivo, o tamanho é um limite flexível. O contribuidor deve consultar a implementação existente de split max tensors para orientação. A issue contém links para a PR #6135 e um comentário de Artefact2 para contexto. Não há PRs vinculadas ou responsáveis atribuídos, portanto a issue está disponível para ser assumida.
Pilha de tecnologia
cpp
Domain
cli
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
C++Git
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65