Feature request: add max_len=8192 parameter support 功能请求：增加对max_len=8192的支持
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 82/100
Línea de trabajo
Comienza en backend/server/main.py, en las líneas indicadas, e inspecciona la definición de InferenceRequest. Sigue cómo la solicitud llega a la llamada de inferencia de laya-multilingual; después, añade compatibilidad con max_len=8192 y verifica que las solicitudes con contexto largo acepten el parámetro y utilicen el límite de tokens aumentado.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Current API don't support max_len=8192 parameter, which can increase the max token limit for laya-multilingual.
For some long context case, the quality of result is quite low. It would be much more helpful if you can add the support of this.
I suppose just add a property in InferenceRequest and add the support here
现在的API不支持 max_len=8192 这个可以让 laya-multilingual 的输入上限增加到8192个token。
现在过长的上下文的结果，质量很低。如果能支持这个参数，估计会有很大改善。
我觉得，只要在 InferenceRequest 里面加一个对此支持的属性，然后再在这个函数调用里加上参数就好了。
非常感谢你做了这个可以直接在Docker里用的image，直接部署非常方便！
- Lenguaje dominante
- TypeScript
- Estrellas
- 72
- Forks
- 48
- Merge medio
- 14 min
- PR fusionados (30 d)
- 55
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de 1Panel-dev/laya-server
-
建议加SKILL指导Agent使用Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
1Panel-dev/laya-server#60 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de 1Panel-dev/laya-server
Issues similares
-
needs:triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
ai-discovered
Dificultad 2/5 1-3 horas Aptitud para principiantes 83/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
jessepollak/home#1627 ·
Los mantenedores suelen responder en 1 día
-
agent-canvas bug llm priority:low ready-for-dev
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
OpenHands/OpenHands#17806 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
radius-project/ai-extensions#923 ·
Los mantenedores suelen responder en 1 día