Does .chat() support setting context length?
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 42/100
Hướng nghiên cứu
Bắt đầu với ví dụ chat nhiều lượt được liên kết và kiểm tra cách lms.llm() và lms.Chat() tiếp nhận cấu hình. Tái hiện TypeError với giá trị contextLength được hiển thị và xác định cách cấu hình được hỗ trợ; hoàn thành khi luồng chat được ghi trong tài liệu có thể đặt context length là 8192 mà không gặp lỗi constructor.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hello I'm trying to set context length when running this code. Placing the configuration value in different places hasn't worked.
I am able to load the model with manually set context length in the GUI, then the terminal program runs fine using model = lms.llm()
https://lmstudio.ai/docs/python/llm-prediction/chat-completion#example-multi-turn-chat
If I load the config value with the model it doesn't apply the setting when opening .chat()
model = lms.llm("OpenAI-20B-NEO-CODEPlus-Uncensored-IQ4_NL.gguf", config={ "contextLength": 8192 })
If I set it in the chat I get an error. Example code:
chat = lms.Chat(systemprompt, config={ "contextLength": 8192 })
error:
line 59, in <module> chat = lms.Chat(systemprompt, config={ "contextLength": 8192 }) TypeError: Chat.__init__() got an unexpected keyword argument 'config'
Help with this issue would be appreciated.
- Ngôn ngữ chính
- Python
- Star
- 885
- Fork
- 168
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của lmstudio-ai/lmstudio-python
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
lmstudio-ai/lmstudio-python#186 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100
lmstudio-ai/lmstudio-python#184 · 1 bình luận · 1 reaction ·
-
Reasoning parametersĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
lmstudio-ai/lmstudio-python#183 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
lmstudio-ai/lmstudio-python#182 · 1 reaction ·
-
error code: 502Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 32/100
lmstudio-ai/lmstudio-python#180 ·
Tất cả issue của lmstudio-ai/lmstudio-python
Issue tương tự
-
type-bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
push_gh-pages fails on master branch on forksCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mởgood first issue infrastructure
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
kuznia-rdzeni/coreblocks#1135 ·
-
good first issue server
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation priority: high
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
a-lex-s/mealie-telegram-bot#54 ·
Maintainer thường phản hồi trong vòng 1 ngày