I would like to test out laya of system1 models

Aperta
#2,405 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
huggingface, python

Direzione di ricerca

Start by reviewing the Python wrapper's model loading and inference entry points, then compare them with the Laya-GGUF model linked in the issue and the llama.cpp support it requires. The issue does not name files or tests, and the requested scope is broad. Done means callers can use System1 models through the Python wrapper; confirm the model loads and produces output.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Is your feature request related to a problem? Please describe.
I would like to test out laya - e.g. the model at https://huggingface.co/ggml-org/Laya-GGUF

Describe the solution you'd like
To be able to call system1 models

Describe alternatives you've considered
Directly use llama.cpp instead of the python wrapper

Additional context

Lingua principale
Python
Stelle
10.7k
Fork
1.5k
Merge medio
1h 40m
PR unite (30g)
5

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di abetlen/llama-cpp-python

Tutte le issue di abetlen/llama-cpp-python

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.