Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

huggingface/evaluate

Đăng nhập để theo dõi Xem trên GitHub

🤗 Evaluate: A library for easily evaluating machine learning models and datasets.

huggingface/evaluate có thân thiện với người mới không?

Maintainer của huggingface/evaluate thường phản hồi pull request trong vòng 1 ngày. Hiện có 7 issue phù hợp với người mới đang mở.

Star
2.5k
Fork
346
Issue cho người mới đang mở
7
Issue đã lập chỉ mục
196
Merge trung bình
38 phút
Pull request đã merge (30 ngày)
4
Ngôn ngữ chính
Python
Giấy phép
Apache-2.0
Lần push lên GitHub gần nhất
6/10/2026
Lập chỉ mục gần nhất
17/9/2026
Hướng dẫn đóng góp
Quy tắc ứng xử
Label cho người mới
Chưa lập chỉ mục label nào cho người mới

Cách đóng góp cho huggingface/evaluate

  1. Hãy đọc hướng dẫn đóng góp trước: nó cho biết maintainer muốn thay đổi được đề xuất, kiểm thử và review ra sao.
  2. Hãy đọc quy tắc ứng xử: nó áp dụng cho issue và pull request cũng như trò chuyện.
  3. Đóng góp của bạn sẽ được phát hành theo giấy phép Apache-2.0 của dự án.
  4. Chọn một trong 7 issue phù hợp với người mới đang mở bên dưới và bình luận rằng bạn muốn làm nó trước khi bắt đầu.
Phù hợp cho người mới Tất cả
Đang mở Tất cả

Các issue có thể đã có người làm được xếp cuối danh sách. Sắp xếp tất cả theo ngày

  • EvalPort export/import helpers for bridging evaluate's aggregate-only API to portable per-example results
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

    huggingface/evaluate#800 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Proposal: Make SQuAD QA F1 logic reusable as a generic QA metric in `evaluate`
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

    huggingface/evaluate#724 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • FileNotFoundError: Couldn't find a module script at /workspace/[email protected]/VLM/evaluate/meteor/meteor.py. Module 'meteor' doesn't exist on the Hugging Face Hub either.
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100

    huggingface/evaluate#723 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • bug: huggingface-hub 1.0.0 release breaks existing evaluate releases
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 42/100

    huggingface/evaluate#712 · 7 bình luận · 2 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Unable to reproduce example results using the Unbabel/wmt22-comet-da model
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#711 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Questions around perplexity metric for language modeling
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 32/100

    huggingface/evaluate#688 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • False/misleading instruction to use different checkpoints of BLEURT
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 62/100

    huggingface/evaluate#679 · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • `rouge` is not available
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#678 · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • `import` is very slow
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#674 · 3 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • comet doesn't work when gpu=0
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#673 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Feature Request: Add support for retrieving mispredicted examples with predictions and ground truth
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

    huggingface/evaluate#672 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Issue in evaluate.EvaluationModule.add
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 52/100

    huggingface/evaluate#670 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Question: ROC_AUC metric compute signature with prediction_scores
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

    huggingface/evaluate#660 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Calculating F1 fails due to error(AttributeError: 'float' object has no attribute 'size')
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100

    huggingface/evaluate#658 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • FileNotFoundError: Couldn't find a module script at /home/tooko/transformers-course/glue/glue.py.
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100

    huggingface/evaluate#651 · 1 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Evaluation took so much disk
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    huggingface/evaluate#649 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • evaluate.load() does not work while loading word_count
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#648 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • TypeError: 'NoneType' object is not callable
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100

    huggingface/evaluate#647 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • FileNotFoundError: Couldn't find a module script at /mnt/data/dingtian/exact_match/exact_match.py. Module 'exact_match' doesn't exist on the Hugging Face Hub either.
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#645 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [FR] Binoculars as a new metric
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#644 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Perplexity for quantized models
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 25/100

    huggingface/evaluate#643 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • ImportError: To be able to use evaluate-metric/glue, you need to install the following dependencies['scipy', 'scikit-learn'] using 'pip install scipy sklearn' for instance'
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100

    huggingface/evaluate#642 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Optionally stop data deletion after compute
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#641 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Perplexity for Left Padded Models
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#636 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • CI parity test is broken due to FileNotFoundError
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    huggingface/evaluate#632 · 1 người được giao ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • `list_evaluation_modules` returns empty list
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100

    huggingface/evaluate#616 · 4 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Benchmark evaluation for language models.
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

    huggingface/evaluate#615 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Unable to compute f1 score - Throwing Value Error trying to convert a string in non english Language to integer
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    huggingface/evaluate#610 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • AttributeError: module 'evaluate' has no attribute 'load'
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

    huggingface/evaluate#609 · 8 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [Metrics] ValueError: Expected to find locked file from process x but it doesn't exist.
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 32/100

    huggingface/evaluate#607 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Gradio dependency issue
    Đang mở
    • Có gì không ổn?

    Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 45/100

    huggingface/evaluate#602 · 2 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • LocalModuleTest.test_load_metric_code_eval fails with "The "code_eval" metric executes untrusted model-generated code in Python."
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#597 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Evaluation of empty strings with MAUVE results in error
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#593 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • SyntaxError: closing parenthesis '}'
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100

    huggingface/evaluate#592 · 3 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Problems during run initial step
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

    huggingface/evaluate#590 · 12 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Can't load exist dataset for evaluation
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    huggingface/evaluate#589 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [Question]Shall we adding a faster BLEU score calculator?
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

    huggingface/evaluate#586 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • How to pass generation_kwargs to the TextGeneration evaluator ?
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

    huggingface/evaluate#582 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [FR] Confidence intervals for metrics
    Đang mở
    • Có gì không ổn?

    Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

    huggingface/evaluate#581 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Unable to run pip install evaluate[template]
    Có thể làm lại được Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100

    huggingface/evaluate#576 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Perplexity metric does not apply batching correctly to tokenization
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100

    huggingface/evaluate#573 · 1 bình luận · 4 reaction ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • METEOR has no option to return unaggregated results
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 52/100

    huggingface/evaluate#572 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • [Question] How to have no preset values sent into `.compute()`
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#570 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Allow for specify coda device in perplexity evaluation
    Đang mở
    • Có gì không ổn?

    Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 52/100

    huggingface/evaluate#568 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Cannot use it offline!
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

    huggingface/evaluate#567 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • ValueError: Predictions and/or references don't match the expected format.
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100

    huggingface/evaluate#563 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • It seems like evaluate.load doesnt use
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100

    huggingface/evaluate#561 ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • Is perplexity correctly computed?
    Đang mở
    • Có gì không ổn?

    Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#560 · 6 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • the difference of your bleu and sacrebleu
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

    huggingface/evaluate#558 · 1 bình luận ·

    Maintainer thường phản hồi trong vòng 1 ngày

  • After fine-tuning Gemma and want to evaluate performance: AttributeError: module 'keras._tf_keras.keras' has no attribute '__internal__'
    Đang mở
    • Có gì không ổn?

    Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100

    huggingface/evaluate#555 ·

    Maintainer thường phản hồi trong vòng 1 ngày

Đang hiển thị 100 mục mới nhất

Trang này chỉ liệt kê những gì được lập chỉ mục gần đây. Bộ lọc nâng cao có toàn bộ kho, thu hẹp theo ngôn ngữ, độ khó và thời lượng.

Mở bộ lọc nâng cao

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.