I would like to test out laya of system1 models

Aberta
#2,405 0 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 1 dia

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
5/5
Tempo estimado
Mais de uma semana
Facilidade para iniciantes
25/100
Tipo de issue
Funcionalidade
Clareza
Razoavelmente clara
Status de atividade
Ativa
Stack de tecnologia
huggingface, python
Domínio
machine-learning

Direção de pesquisa

Start by reviewing the Python wrapper's model loading and inference entry points, then compare them with the Laya-GGUF model linked in the issue and the llama.cpp support it requires. The issue does not name files or tests, and the requested scope is broad. Done means callers can use System1 models through the Python wrapper; confirm the model loads and produces output.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Is your feature request related to a problem? Please describe.
I would like to test out laya - e.g. the model at https://huggingface.co/ggml-org/Laya-GGUF

Describe the solution you'd like
To be able to call system1 models

Describe alternatives you've considered
Directly use llama.cpp instead of the python wrapper

Additional context

Linguagem predominante
Python
Estrelas
10.7k
Forks
1.5k
Merge médio
1h 40min
PRs com merge (30d)
5

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de abetlen/llama-cpp-python

Todas as issues de abetlen/llama-cpp-python

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.