Include in Readme how to Pass Custom Arguments to `llama_cpp.server` in Docker

Aperta Adatta ai principianti
#1,029 6 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
1/5
Tempo stimato
Meno di un'ora
Idoneità per principianti
75/100
Tipo di issue
Documentazione
Chiarezza
Specificata chiaramente
Stato di attività
Ferma
Stack tecnologico
docker, python
Ambito
cli, documentation

Direzione di ricerca

Esamina il Dockerfile e le sezioni esistenti del README sull'esecuzione del server. L'issue mostra il comando errato; la soluzione consiste nel documentare il modo corretto di passare gli argomenti all'applicazione llama_cpp.server, non a uvicorn. Controlla come è definito il punto di ingresso del server e aggiorna il README con un esempio funzionante.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

documentation question
Title:

Issue with Passing Custom Arguments to llama_cpp.server in Docker

Issue Description:

Hello abetlen,

I've been trying to use your Docker image ghcr.io/abetlen/llama-cpp-python:v0.2.24 for llama_cpp.server, and I encountered some difficulties when attempting to pass custom arguments (--n_gpu_layers 81, --chat_format chatml, --use_mlock False) to the server through Docker.

Steps to Reproduce:

  1. Pull the Docker image: docker pull ghcr.io/abetlen/llama-cpp-python:v0.2.24

  2. Run the container with custom arguments:

    docker run --rm -it -p 8000:8000 \
  -v /home/jaredquek/text-generation-webui/models:/models \
  -e MODEL=/models/tulu-2-dpo-70b.Q5_K_M.gguf \
  --entrypoint uvicorn \
  ghcr.io/abetlen/llama-cpp-python:v0.2.24 \
  --factory llama_cpp.server.app:create_app --host 0.0.0.0 --port 8000 --n_gpu_layers 81 --chat_format chatml --use_mlock False

    This results in an error: Error: No such option: --n_gpu_layers.

Expected Behavior:

I expected to be able to pass these arguments to the llama_cpp.server application inside the Docker container.

Actual Behavior:

The uvicorn command does not recognize these arguments as it's designed for the ASGI server, not the llama_cpp.server application.

Potential Solutions:
  • Modify the Dockerfile or application configuration to accept these arguments.
  • Provide guidance in Readme on how to correctly pass additional arguments or configure the server with these settings.

I would appreciate any assistance or guidance you could provide on this issue.

Thank you for your time and for maintaining this project.

Best regards.

Lingua principale
Python
Stelle
10.6k
Fork
1.5k
Merge medio
23m
PR unite (30g)
1

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di abetlen/llama-cpp-python

Tutte le issue di abetlen/llama-cpp-python

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.