ggml-org/llama.cpp

llama cpp server cant open to public

開放

#6,268 建立於 2024年3月24日

在 GitHub 查看貢獻者指南
 (6 則留言) (0 個反應) (0 位負責人)C++ (21,764 個分叉)batch import
enhancementgood first issueserver

倉庫指標

星標
 (124,134 顆星)
PR 合併指標
 (平均合併 6天 8小時) (30 天內合併 389 個 PR)

描述

Darwin Feedloops-Mac-Studio.local 23.2.0 Darwin Kernel Version 23.2.0: Wed Nov 15 21:55:06 PST 2023; root:xnu-10002.61.3~2/RELEASE_ARM64_T6020 arm64

example my public ip is: http://36.54.42.112

step to reproduce:

  1. python -m http.server --bind 0.0.0.0 8082, can be access from localhost:8082 and http://36.54.42.112:8082
  2. ./server -m ../models/mistral-7b-openorca.Q8_0.gguf -c 2048 --host 0.0.0.0 --port 8082 -ngl 33 -cb -np 32 can be access from localhost:8082/v1/models but cant access from http://36.54.42.112:8082/v1/models

any insight?, thank you.

貢獻者指南

研究方向
檢查伺服器的監聽插座配置，確認它綁定到所有介面。使用netstat或ss命令驗證。同時考慮防火牆或路由器設定是否阻止了傳入連接。
技術棧
cpp
領域
backend
議題類型
錯誤
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
2
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1-3 小時
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
Basic networking and server configuration
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
60