Loading a model through the SDK does not use per model defaults
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 45/100
Hướng nghiên cứu
Bắt đầu từ điểm vào của Python SDK lmstudio.llm() và theo dõi cách các tham số tải mô hình được lựa chọn. So sánh cách xử lý các giá trị mặc định tùy chỉnh theo từng mô hình với hành vi của UI, CLI lms load và REST API v1 được mô tả trong issue. Được xem là hoàn thành khi các mô hình được tải bằng SDK sử dụng các giá trị mặc định theo từng mô hình đã cấu hình, bao gồm temperature và các tham số khác.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Let’s take Qwen3 1.7B. The installed model default temp is 0.8.
I change the default temp to 0.6.
When I load the model in the UI, the temp is 0.8.
If I use the cli with lms load, the temp is 0.8.
If I use the REST API v1, the temp is 0.8
If I use the python sdk lmstudio.llm(), the temp is not 0.8, but back to 0.6.
The other params follow the same pattern - use my custom defaults when loaded everywhere except the python sdk.
The SDK should load using the per model custom defaults I set.
- Ngôn ngữ chính
- Python
- Star
- 886
- Fork
- 168
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của lmstudio-ai/lmstudio-python
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
lmstudio-ai/lmstudio-python#186 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100
lmstudio-ai/lmstudio-python#184 · 1 bình luận · 1 reaction ·
-
Reasoning parametersĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
lmstudio-ai/lmstudio-python#183 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
lmstudio-ai/lmstudio-python#182 · 1 reaction ·
-
error code: 502Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 32/100
lmstudio-ai/lmstudio-python#180 ·
Tất cả issue của lmstudio-ai/lmstudio-python
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
microsoft/agent-lightning#661 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
area/profiles comp/cli P3 type/feature
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
NousResearch/hermes-agent#146372 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[BUG] OpenAI-compatible embedding model alias breaks embedder constructionCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[oblt-aw][autodoc] Document obs-aw-automerge contract and fix automerge doc inconsistenciesCó thể đã có người làm @github-actions đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 1 ngày
-
GeoSeries scale and skew tests fail with pytest 9.2.0Có thể đã có người làm @jiayuasu đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày