ggml-org/llama.cpp

llama cpp server cant open to public

Open

#6,268 建立於 2024年3月24日

在 GitHub 查看
 (5 留言) (0 反應) (0 負責人)C++ (110,169 star) (18,202 fork)batch import
enhancementgood first issueserver

描述

Darwin Feedloops-Mac-Studio.local 23.2.0 Darwin Kernel Version 23.2.0: Wed Nov 15 21:55:06 PST 2023; root:xnu-10002.61.3~2/RELEASE_ARM64_T6020 arm64

example my public ip is: http://36.54.42.112

step to reproduce:

  1. python -m http.server --bind 0.0.0.0 8082, can be access from localhost:8082 and http://36.54.42.112:8082
  2. ./server -m ../models/mistral-7b-openorca.Q8_0.gguf -c 2048 --host 0.0.0.0 --port 8082 -ngl 33 -cb -np 32 can be access from localhost:8082/v1/models but cant access from http://36.54.42.112:8082/v1/models

any insight?, thank you.

貢獻者指南

技術棧
cpp
領域
backend
議題類型
bug
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
half day
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
needs maintainer response
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
needs investigation
前置要求
Networking basicsC++ programmingllama.cpp server knowledge
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
35
研究方向
Investigate why the llama.cpp server does not respond on external IP when bound to 0.0.0.0. Check the server's socket binding code (likely in server.cpp) to ensure it listens on all interfaces. Verify firewall settings and OS specific network restrictions. Review comments in the issue for any additional insights or troubleshooting steps attempted by the community.