ggml-org/llama.cpp

llama cpp server cant open to public

Open

#6268 aperta il 24 mar 2024

Vedi su GitHub
 (5 commenti) (0 reazioni) (0 assegnatari)C++ (18.202 fork)batch import
enhancementgood first issueserver

Metriche repository

Star
 (110.169 star)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Darwin Feedloops-Mac-Studio.local 23.2.0 Darwin Kernel Version 23.2.0: Wed Nov 15 21:55:06 PST 2023; root:xnu-10002.61.3~2/RELEASE_ARM64_T6020 arm64

example my public ip is: http://36.54.42.112

step to reproduce:

  1. python -m http.server --bind 0.0.0.0 8082, can be access from localhost:8082 and http://36.54.42.112:8082
  2. ./server -m ../models/mistral-7b-openorca.Q8_0.gguf -c 2048 --host 0.0.0.0 --port 8082 -ngl 33 -cb -np 32 can be access from localhost:8082/v1/models but cant access from http://36.54.42.112:8082/v1/models

any insight?, thank you.

Guida contributor

Direzione di ricerca
Controlla la configurazione del socket di ascolto del server e verifica che sia associato a tutte le interfacce. Usa netstat o ss per confermare. Considera anche le impostazioni del firewall o del router che potrebbero bloccare le connessioni in arrivo.
Tech stack
cpp
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Basic networking and server configuration
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60