请问如何不使用vLLM进行推理呢
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
Línea de trabajo
The issue requests guidance and reference code for inference without vLLM, but names no files, tests, or entry points. Start by locating the repository's Python inference entry point and existing vLLM integration; done would include a documented, working non-vLLM inference path with relevant code or examples.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
请问如何不使用vLLM进行推理呢,可否开源一份相关代码,借鉴参考下
- Lenguaje dominante
- Python
- Estrellas
- 699
- Forks
- 51
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de stepfun-ai/Step-Audio-R1
-
vllm branch name errorAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 75/100
stepfun-ai/Step-Audio-R1#5 · 2 comentarios · 2 reacciones ·
-
Verify evals on Papers with CodeAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 48/100
stepfun-ai/Step-Audio-R1#23 ·
-
R1.5 模型开源Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
stepfun-ai/Step-Audio-R1#22 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
stepfun-ai/Step-Audio-R1#20 ·
-
realtime相关内容Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
stepfun-ai/Step-Audio-R1#19 · 2 comentarios ·
Todos los issues de stepfun-ai/Step-Audio-R1
Issues similares
-
Broken links found in docsAbiertodocs pydanty:is-working
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
pydantic/pydantic-ai#8863 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
run-llama/llama_index#23278 ·
Los mantenedores suelen responder en 2 días
-
documentation from-review-extraction github-actions priority: low severity:nit
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
LearningCircuit/local-deep-research#6946 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
oracle/langchain-oracle#323 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
tenstorrent/tt-metal#58057 · 1 comentario ·
Los mantenedores suelen responder en 1 día