Does .chat() support setting context length?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 42/100
Línea de trabajo
Comienza con el ejemplo enlazado de chat multi-turno e inspecciona cómo lms.llm() y lms.Chat() aceptan la configuración. Reproduce el TypeError con el valor de contextLength mostrado y determina la ruta de configuración compatible; se considera completado cuando el flujo de chat documentado puede establecer una context length de 8192 sin el error del constructor.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hello I'm trying to set context length when running this code. Placing the configuration value in different places hasn't worked.
I am able to load the model with manually set context length in the GUI, then the terminal program runs fine using model = lms.llm()
https://lmstudio.ai/docs/python/llm-prediction/chat-completion#example-multi-turn-chat
If I load the config value with the model it doesn't apply the setting when opening .chat()
model = lms.llm("OpenAI-20B-NEO-CODEPlus-Uncensored-IQ4_NL.gguf", config={ "contextLength": 8192 })
If I set it in the chat I get an error. Example code:
chat = lms.Chat(systemprompt, config={ "contextLength": 8192 })
error:
line 59, in <module> chat = lms.Chat(systemprompt, config={ "contextLength": 8192 }) TypeError: Chat.__init__() got an unexpected keyword argument 'config'
Help with this issue would be appreciated.
- Lenguaje dominante
- Python
- Estrellas
- 886
- Forks
- 168
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de lmstudio-ai/lmstudio-python
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
lmstudio-ai/lmstudio-python#186 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
lmstudio-ai/lmstudio-python#184 · 1 comentario · 1 reacción ·
-
Reasoning parametersAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
lmstudio-ai/lmstudio-python#183 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
lmstudio-ai/lmstudio-python#182 · 1 reacción ·
-
error code: 502Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 32/100
lmstudio-ai/lmstudio-python#180 ·
Todos los issues de lmstudio-ai/lmstudio-python
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
btclib-org/btclib-node#2132 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
freelawproject/juriscraper#2367 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
infra tech-debt
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
docs(k8s-api-proxy): name the service-account-token Secret path in the read-write mode commentAbiertoneeds-triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
gke-labs/kube-agents#4190 ·
Los mantenedores suelen responder en 1 día