实测发现8B-instruct的asr质量不如4B-instruct的
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python
Línea de trabajo
No se nombra ningún archivo, prueba ni punto de entrada. Empieza reproduciendo el mismo audio y prompt con los modelos 4B y 8B, y después compara la precisión de las marcas de tiempo y la segmentación de oraciones; se considera terminado cuando se determina si la diferencia es esperada o se aísla un problema reproducible del modelo o de inferencia.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
如题,我用同一段音频测试,prompt是:请转录这段音频, 输出时带上每个句子的开始和结束时间。上下文关键词有小珺,Manus,OpenClaw,姚顺宇, Meta,Gemini。
4B的输出时间是正确的,分句合理,8B的输出时间都错了,比如
[230.00-235.00]然后你去看那个纸面上的消息, 比如看Sweebench, 你会发现哎好像好的会比不好的可能高一个百分点或者两个百分点, 但其实大家都在80%附近, 那个附近数字高一点低一点, 其实呃是主要是是noise, 就主要是是噪声, 而不是信号, 对。[235.00-240.00]但是从另一方面来说, 大家使用上确实还是能体现出呃区别的, 我觉得呃就我个人了解到的信息而言, 呃Cloud目前仍然是呃比较通用的这种工具使用类的使呃agent表现最好的。[240.00-245.00]然后在纯粹coding的方面, 可能最近呃CodeX稍微追上了一点, 啊就把这个把这个中间的gap变小了一点, 然后呃Gemini可能在纯的reasoning, 然后和一些比较日常的使用环境下, 可能目前还是比较好的, 然后在[245.00-250.00]呃在coding和agent上还处于一个比较在在接近的这个状。[250.00-255.00]
对应4B的输出
[527.37][527.75]现在就是纸面上大家其实都比较相近,然后你去看那个纸面上的消息,比如看swim bench,你会发现哎好像好的会比不好的可能高一个百分点或者两个百分点,但其实大家都在百分之八十附近,那个附近数字高一点低一点其实呃是主要是是noise,就主要是是噪声而不是信号,对。[547.19][547.65]但是从另一方面来说,大家使用上确实还是能体现出呃区别的。[551.65][551.79]我觉得呃就我个人了解到的信息而言,呃Claude目前仍然是呃比较通用的这种工具使用类的使呃agent表现最好的。[564.8][565.18]然后在纯粹coding的方面,可能最近呃CodeX稍微追上了一点啊,就把这个把这个中间的gap变小了一点。[573.48][573.86]然后呃Gemini可能在纯的reasoning,然后和一些比较日常的使用环境下,可能目前还是比较好的。[583.19][583.23]然后在呃在coding和agent上还处于一个比较在在接近的这个状。[588.03]
这个结果正常吗
- Lenguaje dominante
- Python
- Estrellas
- 667
- Forks
- 45
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenMOSS/MOSS-Audio
-
Add the LICENSE file — pyproject references one that doesn't exist (inference code has no licence)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
OpenMOSS/MOSS-Audio#24 ·
-
promptAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
OpenMOSS/MOSS-Audio#33 ·
-
自建的speech caption的数据开源吗Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
OpenMOSS/MOSS-Audio#32 ·
-
关于时间戳音频转录质量Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
OpenMOSS/MOSS-Audio#30 ·
-
Common Voice 15 EN EvaluationAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
OpenMOSS/MOSS-Audio#27 · 1 comentario ·
Todos los issues de OpenMOSS/MOSS-Audio
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día
-
https://search.utilibre.orgAbiertoinstance instance add
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
searxng/searx-instances#941 · 1 comentario ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
FluidNumerics/fluid-walk-blocker#89 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día