Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

huggingface/evaluate

Se connecter pour suivre Voir sur GitHub

🤗 Evaluate: A library for easily evaluating machine learning models and datasets.

huggingface/evaluate est-il accessible aux débutants ?

Les mainteneurs de huggingface/evaluate répondent en général à une pull request sous 1 jour. 7 issues accessibles aux débutants sont ouvertes en ce moment.

Étoiles
2.5k
Forks
352
Issues débutants ouvertes
7
Issues indexées
196
Merge moyen
38 min
PR mergées (30 j)
4
Langage dominant
Python
Licence
Apache-2.0
Dernier push GitHub
6/10/2026
Dernière indexation
17/9/2026
Guide de contribution
Code de conduite
Labels débutants
Aucun label débutant indexé

Comment contribuer à huggingface/evaluate

  1. Lisez d'abord le guide de contribution : il explique comment les mainteneurs veulent que les changements soient proposés, testés et relus.
  2. Lisez son code de conduite : il s'applique aux issues et aux pull requests autant qu'au chat.
  3. Vos contributions seront publiées sous la licence Apache-2.0 du projet.
  4. Choisissez l'une des 7 issues ouvertes accessibles aux débutants ci-dessous et indiquez en commentaire que vous voulez la prendre avant de commencer.
Accessible aux débutants Tout
Ouverte Toutes

Les issues sur lesquelles quelqu’un travaille peut-être déjà sont listées en dernier. Tout trier par date

  • EvalPort export/import helpers for bridging evaluate's aggregate-only API to portable per-example results
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100

    huggingface/evaluate#800 ·

    Les mainteneurs répondent en général sous 1 jour

  • Proposal: Make SQuAD QA F1 logic reusable as a generic QA metric in `evaluate`
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 5/5 Plus d'une semaine Accessibilité débutants 30/100

    huggingface/evaluate#724 ·

    Les mainteneurs répondent en général sous 1 jour

  • FileNotFoundError: Couldn't find a module script at /workspace/[email protected]/VLM/evaluate/meteor/meteor.py. Module 'meteor' doesn't exist on the Hugging Face Hub either.
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 48/100

    huggingface/evaluate#723 ·

    Les mainteneurs répondent en général sous 1 jour

  • bug: huggingface-hub 1.0.0 release breaks existing evaluate releases
    Peut-être à nouveau libre Ouverte
    • Quelque chose ne va pas ?

    Difficulté 2/5 1-3 heures Accessibilité débutants 42/100

    huggingface/evaluate#712 · 7 commentaires · 2 réactions ·

    Les mainteneurs répondent en général sous 1 jour

  • Unable to reproduce example results using the Unbabel/wmt22-comet-da model
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

    huggingface/evaluate#711 ·

    Les mainteneurs répondent en général sous 1 jour

  • Questions around perplexity metric for language modeling
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 32/100

    huggingface/evaluate#688 ·

    Les mainteneurs répondent en général sous 1 jour

  • False/misleading instruction to use different checkpoints of BLEURT
    Peut-être à nouveau libre Ouverte
    • Quelque chose ne va pas ?

    Difficulté 1/5 Moins d'une heure Accessibilité débutants 62/100

    huggingface/evaluate#679 · 1 réaction ·

    Les mainteneurs répondent en général sous 1 jour

  • `rouge` is not available
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

    huggingface/evaluate#678 · 1 réaction ·

    Les mainteneurs répondent en général sous 1 jour

  • `import` is very slow
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

    huggingface/evaluate#674 · 3 réactions ·

    Les mainteneurs répondent en général sous 1 jour

  • comet doesn't work when gpu=0
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

    huggingface/evaluate#673 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • Feature Request: Add support for retrieving mispredicted examples with predictions and ground truth
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100

    huggingface/evaluate#672 ·

    Les mainteneurs répondent en général sous 1 jour

  • Issue in evaluate.EvaluationModule.add
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 2/5 1-3 heures Accessibilité débutants 52/100

    huggingface/evaluate#670 ·

    Les mainteneurs répondent en général sous 1 jour

  • Question: ROC_AUC metric compute signature with prediction_scores
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

    huggingface/evaluate#660 ·

    Les mainteneurs répondent en général sous 1 jour

  • Calculating F1 fails due to error(AttributeError: 'float' object has no attribute 'size')
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 45/100

    huggingface/evaluate#658 · 2 commentaires ·

    Les mainteneurs répondent en général sous 1 jour

  • FileNotFoundError: Couldn't find a module script at /home/tooko/transformers-course/glue/glue.py.
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 30/100

    huggingface/evaluate#651 · 1 réaction ·

    Les mainteneurs répondent en général sous 1 jour

  • Evaluation took so much disk
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

    huggingface/evaluate#649 ·

    Les mainteneurs répondent en général sous 1 jour

  • evaluate.load() does not work while loading word_count
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

    huggingface/evaluate#648 ·

    Les mainteneurs répondent en général sous 1 jour

  • TypeError: 'NoneType' object is not callable
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 30/100

    huggingface/evaluate#647 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • FileNotFoundError: Couldn't find a module script at /mnt/data/dingtian/exact_match/exact_match.py. Module 'exact_match' doesn't exist on the Hugging Face Hub either.
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

    huggingface/evaluate#645 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • [FR] Binoculars as a new metric
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

    huggingface/evaluate#644 ·

    Les mainteneurs répondent en général sous 1 jour

  • Perplexity for quantized models
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 2/5 1-3 heures Accessibilité débutants 25/100

    huggingface/evaluate#643 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • ImportError: To be able to use evaluate-metric/glue, you need to install the following dependencies['scipy', 'scikit-learn'] using 'pip install scipy sklearn' for instance'
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 2/5 1-3 heures Accessibilité débutants 35/100

    huggingface/evaluate#642 · 3 commentaires ·

    Les mainteneurs répondent en général sous 1 jour

  • Optionally stop data deletion after compute
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

    huggingface/evaluate#641 ·

    Les mainteneurs répondent en général sous 1 jour

  • Perplexity for Left Padded Models
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

    huggingface/evaluate#636 ·

    Les mainteneurs répondent en général sous 1 jour

  • CI parity test is broken due to FileNotFoundError
    Peut-être à nouveau libre Ouverte
    • Quelque chose ne va pas ?

    huggingface/evaluate#632 · 1 personne assignée ·

    Les mainteneurs répondent en général sous 1 jour

  • `list_evaluation_modules` returns empty list
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 42/100

    huggingface/evaluate#616 · 4 commentaires ·

    Les mainteneurs répondent en général sous 1 jour

  • Benchmark evaluation for language models.
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

    huggingface/evaluate#615 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • Unable to compute f1 score - Throwing Value Error trying to convert a string in non english Language to integer
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

    huggingface/evaluate#610 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • AttributeError: module 'evaluate' has no attribute 'load'
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

    huggingface/evaluate#609 · 8 commentaires ·

    Les mainteneurs répondent en général sous 1 jour

  • [Metrics] ValueError: Expected to find locked file from process x but it doesn't exist.
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 32/100

    huggingface/evaluate#607 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • Gradio dependency issue
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 1/5 1-3 heures Accessibilité débutants 45/100

    huggingface/evaluate#602 · 2 commentaires ·

    Les mainteneurs répondent en général sous 1 jour

  • LocalModuleTest.test_load_metric_code_eval fails with "The "code_eval" metric executes untrusted model-generated code in Python."
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

    huggingface/evaluate#597 ·

    Les mainteneurs répondent en général sous 1 jour

  • Evaluation of empty strings with MAUVE results in error
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

    huggingface/evaluate#593 ·

    Les mainteneurs répondent en général sous 1 jour

  • SyntaxError: closing parenthesis '}'
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 2/5 1-3 heures Accessibilité débutants 35/100

    huggingface/evaluate#592 · 3 commentaires ·

    Les mainteneurs répondent en général sous 1 jour

  • Problems during run initial step
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

    huggingface/evaluate#590 · 12 commentaires ·

    Les mainteneurs répondent en général sous 1 jour

  • Can't load exist dataset for evaluation
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

    huggingface/evaluate#589 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • [Question]Shall we adding a faster BLEU score calculator?
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

    huggingface/evaluate#586 ·

    Les mainteneurs répondent en général sous 1 jour

  • How to pass generation_kwargs to the TextGeneration evaluator ?
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

    huggingface/evaluate#582 ·

    Les mainteneurs répondent en général sous 1 jour

  • [FR] Confidence intervals for metrics
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100

    huggingface/evaluate#581 ·

    Les mainteneurs répondent en général sous 1 jour

  • Unable to run pip install evaluate[template]
    Peut-être à nouveau libre Ouverte
    • Quelque chose ne va pas ?

    Difficulté 2/5 1-3 heures Accessibilité débutants 35/100

    huggingface/evaluate#576 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • Perplexity metric does not apply batching correctly to tokenization
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 30/100

    huggingface/evaluate#573 · 1 commentaire · 4 réactions ·

    Les mainteneurs répondent en général sous 1 jour

  • METEOR has no option to return unaggregated results
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 2/5 1-3 heures Accessibilité débutants 52/100

    huggingface/evaluate#572 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • [Question] How to have no preset values sent into `.compute()`
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

    huggingface/evaluate#570 ·

    Les mainteneurs répondent en général sous 1 jour

  • Allow for specify coda device in perplexity evaluation
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 2/5 1-3 heures Accessibilité débutants 52/100

    huggingface/evaluate#568 ·

    Les mainteneurs répondent en général sous 1 jour

  • Cannot use it offline!
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

    huggingface/evaluate#567 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • ValueError: Predictions and/or references don't match the expected format.
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 45/100

    huggingface/evaluate#563 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • It seems like evaluate.load doesnt use
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 42/100

    huggingface/evaluate#561 ·

    Les mainteneurs répondent en général sous 1 jour

  • Is perplexity correctly computed?
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

    huggingface/evaluate#560 · 6 commentaires ·

    Les mainteneurs répondent en général sous 1 jour

  • the difference of your bleu and sacrebleu
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

    huggingface/evaluate#558 · 1 commentaire ·

    Les mainteneurs répondent en général sous 1 jour

  • After fine-tuning Gemma and want to evaluate performance: AttributeError: module 'keras._tf_keras.keras' has no attribute '__internal__'
    Ouverte
    • Quelque chose ne va pas ?

    Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

    huggingface/evaluate#555 ·

    Les mainteneurs répondent en général sous 1 jour

Affichage des 100 plus récents

Cette page ne liste que les entrées les plus récentes. Le filtre avancé contient l'inventaire complet, affiné par langage, difficulté et durée.

Ouvrir le filtre avancé

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.