ggml-org/llama.cpp

llama cpp server cant open to public

Open

#6 268 ouverte le 24 mars 2024

Voir sur GitHub
 (5 commentaires) (0 réactions) (0 assignés)C++ (18 202 forks)batch import
enhancementgood first issueserver

Métriques du dépôt

Stars
 (110 169 stars)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

Darwin Feedloops-Mac-Studio.local 23.2.0 Darwin Kernel Version 23.2.0: Wed Nov 15 21:55:06 PST 2023; root:xnu-10002.61.3~2/RELEASE_ARM64_T6020 arm64

example my public ip is: http://36.54.42.112

step to reproduce:

  1. python -m http.server --bind 0.0.0.0 8082, can be access from localhost:8082 and http://36.54.42.112:8082
  2. ./server -m ../models/mistral-7b-openorca.Q8_0.gguf -c 2048 --host 0.0.0.0 --port 8082 -ngl 33 -cb -np 32 can be access from localhost:8082/v1/models but cant access from http://36.54.42.112:8082/v1/models

any insight?, thank you.

Guide contributeur

Direction de recherche
Vérifiez la configuration du socket d'écoute du serveur et assurez vous qu'il est lié à toutes les interfaces. Utilisez netstat ou ss pour confirmer. Considérez également les paramètres du pare feu ou du routeur qui pourraient bloquer les connexions entrantes.
Stack technique
cpp
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Basic networking and server configuration
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60