没有vllm时使用fun-asr-nano每次都重新加载模型

Abierto Apto para principiantes
#3,401 2 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
76/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
python
Área
backend

Línea de trabajo

Comienza con las líneas 159-172 de _server_app.py y sigue cómo se usan _load_vllm_engine y la entrada fallback_models entre las solicitudes. Revisa también las líneas 273-280 y, a continuación, haz que el estado de fallback impida cargas repetidas cuando vLLM no esté disponible; se considera terminado cuando las solicitudes repetidas de fun-asr-nano reutilicen el modelo de fallback cargado.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

bug needs feedback

如题，在环境中没安装vllm时，若使用fun-asr-nano，则每次都会重新加载模型。

问题出现在_server_app.py的159~172行。
问题在于：

  • vLLM 加载失败时 → app.state.engine 仍然是 None
  • 降级到 AutoModel 时 → 虽然模型被存入 app.state.fallback_models["fun-asr-nano"]，但没有设置任何标志阻止下次重新加载
  • 下次请求时 → 因为 app.state.engine is None，条件不成立，再次进入 _load_vllm_engine()
  • 再次失败 → 再次加载 AutoModel（重复步骤 2-3）

另外，第273~280行这个逻辑也不是很合理，运行起来的python应该不能动态地就多了vllm库，所以server跑起来检测vllm不存在后，使用一个状态变量记一下就行了，至少server重启之前这个变量的值应该都不会变了。然后再所有模型都可以走_load_fallback。对于有vllm，则判断模型是不是fun-asr-nano，再决定走不走_load_vllm_engine()。这样我觉得更合理一些。

以现有代码，最小改变是：
第160行之后加两行：

if app.state.fallback_models["fun-asr-nano"]:
    return app.state.fallback_models["fun-asr-nano"]

供参考。
感谢您的付出。

Lenguaje dominante
Python
Estrellas
20.4k
Forks
2k
Merge medio
4 h 55 min
PR fusionados (30 d)
169

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de modelscope/FunASR

Todos los issues de modelscope/FunASR

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.