[Question]Shall we adding a faster BLEU score calculator?
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- machine-learning, performance
Línea de trabajo
Empieza leyendo la solicitud de rendimiento enlazada y la implementación existente de la métrica BLEU; después, compara la biblioteca bleuscore propuesta y sus pruebas de benchmark e Hypothesis. La tarea estará terminada cuando se decida si se debe añadir una implementación rápida de BLEU o reemplazar la actual, evaluando la corrección y el rendimiento con grandes volúmenes de datos.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Shall we?
Hi, I found the performance request about the bleu score. And I'm wondering if we should add a fast-bleu or replace the bleu implementation with a faster one, like bleuscore which is aimed for better performance for large data size.
About bleuscore library
Correctness
I implement bleuscore library with exactly same way as evaluate library and do serious test with hypothesis to make sure they return same result.
Performance
I wrote the library in Rust and used multi-threading for parallel execution, so it has better performance when the data size gets larger, you can check the benchmark section for more details.
- Lenguaje dominante
- Python
- Estrellas
- 2.5k
- Forks
- 359
- Merge medio
- 38 min
- PR fusionados (30 d)
- 4
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de huggingface/evaluate
-
exact_match: ignore_punctuation only removes ASCII punctuationPosiblemente ocupada @reginaldalfret la tomó hace 3 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#836 ·
Los mantenedores suelen responder en 1 día
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargsPosiblemente ocupada @ktz03 la tomó hace 15 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
huggingface/evaluate#825 ·
Los mantenedores suelen responder en 1 día
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residuePosiblemente ocupada @MahendraMula la tomó hace 32 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#822 ·
Los mantenedores suelen responder en 1 día
-
Perplexity metric fails with GPT-2 tokenizerPosiblemente ocupada @zanvari la tomó hace 129 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
huggingface/evaluate#766 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
False/misleading instruction to use different checkpoints of BLEURTQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 62/100
huggingface/evaluate#679 · 1 reacción ·
Los mantenedores suelen responder en 1 día
Todos los issues de huggingface/evaluate
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
google-agentic-commerce/AP2#388 ·
-
area:codegen backend:cuda backend:hip bug direction:input
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
CrossGL/crosstl#3061 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
rlaope/oh-my-hermes#2304 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
mochan-tk/agentic-dev-kit-for-codex#64 ·
Los mantenedores suelen responder en 1 día
-
Windows ARM memory-leakAbiertobug docs performance
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
Los mantenedores suelen responder en 3 días