[Question]Shall we adding a faster BLEU score calculator?
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
調査の方向性
まず、リンクされたパフォーマンス要求と既存のBLEUメトリクス実装を読み、次に提案されているbleuscoreライブラリとそのベンチマークおよびHypothesisテストを比較します。正確性と大規模データでのパフォーマンスを評価したうえで、高速なBLEU実装を追加するか、現在の実装を置き換えるかを決定できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Shall we?
Hi, I found the performance request about the bleu score. And I'm wondering if we should add a fast-bleu or replace the bleu implementation with a faster one, like bleuscore which is aimed for better performance for large data size.
About bleuscore library
Correctness
I implement bleuscore library with exactly same way as evaluate library and do serious test with hypothesis to make sure they return same result.
Performance
I wrote the library in Rust and used multi-threading for parallel execution, so it has better performance when the data size gets larger, you can check the benchmark section for more details.
- 主要言語
- Python
- スター
- 2.5k
- フォーク
- 368
- 平均マージ
- 48分
- マージ済み PR（30日）
- 1
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
huggingface/evaluate のほかの issue
-
exact_match: ignore_punctuation only removes ASCII punctuation対応中かも @reginaldalfret が 13 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
huggingface/evaluate#836 ·
メンテナーはふだん 1 日以内に返信
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargs対応中かも @ktz03 が 25 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
huggingface/evaluate#825 ·
メンテナーはふだん 1 日以内に返信
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residue対応中かも @MahendraMula が 42 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
huggingface/evaluate#822 ·
メンテナーはふだん 1 日以内に返信
-
Perplexity metric fails with GPT-2 tokenizer対応中かも @zanvari が 139 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
huggingface/evaluate#766 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
False/misleading instruction to use different checkpoints of BLEURT再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 62/100
huggingface/evaluate#679 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
huggingface/evaluate の issue をすべて見る
似ている issue
-
bug module:nodes tests
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
rocketride-org/rocketride-server#3020 ·
メンテナーはふだん 2 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
bretterer/home-assistant-rivian#335 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
mampfes/hacs_waste_collection_schedule#8114 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
TIGER-AI-Lab/ClawBench#475 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
UKGovernmentBEIS/inspect_ai#6322 ·
メンテナーはふだん 1 日以内に返信