/v1/models/capabilities -- wrong default for context_size
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 68/100
Hướng nghiên cứu
Bắt đầu từ endpoint /v1/models/capabilities và theo dõi cách context_size được chọn khi YAML của model không có giá trị. Xác minh hành vi với Settings → Performance → Default Context Size đã được cấu hình, và coi issue là hoàn tất khi endpoint trả về giá trị mặc định đó thay vì 4096.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
LocalAI version:
docker.io/localai/localai:latest-gpu-hipblas (v4.10.0 (7ad0cbf259f0c7bf9920fe2438fc3630ecd6c672))
Environment, CPU architecture, OS, and Version:
Linux, amd64, PikaOS (Debian Testing-based), latest
Describe the bug
The API endpoint /v1/models/capabilities returns 4096 for a model that has no context_size configured. I would expect Settings -> Performance -> Default Context Size to be used.
To Reproduce
- configure a model with no context_size set in its YAML config
- Go to
hostname/v1/models/capabilities
Expected behavior
Default context size is used when a model is not configured
Logs
not relevant
Additional context
🐈
- Ngôn ngữ chính
- Go
- Star
- 49.8k
- Fork
- 4.5k
- Merge trung bình
- 20 giờ 52 phút
- Pull request đã merge (30 ngày)
- 359
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của mudler/LocalAI
-
[Bug] Qwen3.8-27b Uncensored Fails to Download due to 404Có thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mởbug unconfirmed
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Realtime: ASR EOU language tags leak into the LLM conversation (unintended reply-language switching)Có thể đã có người làm @nexxtmobile đã nhận 10 ngày trước. Đang mởarea/api bug unconfirmed
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Open Responses API doesn't accept "output_text" as an input ItemCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mởbug unconfirmed
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
mudler/LocalAI#12337 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Gallery model audio-cpp-sortformer-diarization fails to install: SHA mismatch, reproducible across retriesCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
mudler/LocalAI#11995 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Agent pool Postgres DSN is logged in cleartext, including the password, while the auth DSN is redactedCó thể đã có người làm @localai-org-maint-bot đã nhận 45 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
mudler/LocalAI#11991 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của mudler/LocalAI
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 76/100
superplanehq/superplane#9007 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
yetone/magpie#3905 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày