Perplexity metric does not apply batching correctly to tokenization
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza en perplexity._compute(..) e inspecciona cómo se tokenizan las predicciones y cómo se mueven a la GPU en relación con batch_size. Se considera completado cuando la tokenización y el movimiento al dispositivo se realizan por batch, mientras que los llamadores pueden proporcionar su propio modelo y tokenizer; el issue menciona cambios existentes, pero no ningún test ni ruta de archivo.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
When I try to evaluate my model's text generation using the perplexity metric, the batch_size parameters in perplexity._compute(..) was not sufficient, because it tries to tokenize and move the entire set of predictions to GPU. A simple change to move the tokenization to each batch fixes the issue for me.
Also, it should be possible to pass my own model and tokenizer (since my model is not publishable on huggingface) to the metric. I have made these changes to enable my experiments.
I have made changes to fix this. I can open a PR to commit these changes, if this sounds good to you. I believe this will benefit the developer community.
- Lenguaje dominante
- Python
- Estrellas
- 2.5k
- Forks
- 366
- Merge medio
- 48 min
- PR fusionados (30 d)
- 1
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de huggingface/evaluate
-
exact_match: ignore_punctuation only removes ASCII punctuationPosiblemente ocupada @reginaldalfret la tomó hace 8 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#836 ·
Los mantenedores suelen responder en 1 día
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargsPosiblemente ocupada @ktz03 la tomó hace 20 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
huggingface/evaluate#825 ·
Los mantenedores suelen responder en 1 día
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residuePosiblemente ocupada @MahendraMula la tomó hace 37 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#822 ·
Los mantenedores suelen responder en 1 día
-
Perplexity metric fails with GPT-2 tokenizerPosiblemente ocupada @zanvari la tomó hace 134 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
huggingface/evaluate#766 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
False/misleading instruction to use different checkpoints of BLEURTQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 62/100
huggingface/evaluate#679 · 1 reacción ·
Los mantenedores suelen responder en 1 día
Todos los issues de huggingface/evaluate
Issues similares
-
infrastructure
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
NatLabRockies/H2Integrate#977 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
topoteretes/cognee#6470 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
-
area:docs priority:p2 type:docs wave:9
Dificultad 1/5 Menos de una hora Aptitud para principiantes 84/100
jejjohnson/radtrax#293 ·
Los mantenedores suelen responder en 1 día
-
bug core plugins
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
bunkerity/bunkerweb#4121 · 1 comentario ·
Los mantenedores suelen responder en 1 día