bug: huggingface-hub 1.0.0 release breaks existing evaluate releases
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
- #791 @tonycoder-hub による — マージされずにクローズ
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 42/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- huggingface, python
調査の方向性
setup.py の 54 行目付近と evaluate 0.4.5 の依存関係メタデータを調べます。報告された pip のインストールと evaluate.load("rouge") の失敗を再現し、その後、依存関係の制約によって互換性のない huggingface-hub のリリースが防止され、サポート対象のインストールが維持されることを確認します。
索引モデルが issue の本文から書いたものです。
説明
We encountered the following issues today with pip3 install evaluate==0.4.5 rouge_score==0.1.2. The issue is
token = hf_api.HfFolder.get_token()
^^^^^^^^^^^^^^^
AttributeError: module 'huggingface_hub.hf_api' has no attribute 'HfFolder'
The script is simple:
import evaluate
def calculate_rouge_score(predictions, references):
"""
Compute Rouge score between predictions and references.
Args:
predictions: List of predictions.
references: List of references.
Returns:
Rouge score. Format: {
"rouge1": float,
"rouge2": float,
"rougeL": float,
"rougeLsum": float
}
"""
rouge = evaluate.load("rouge")
return rouge.compute(predictions=predictions, references=references)
This issue can be resolved after we fix huggingface-hub==0.36.0. It is due to https://github.com/huggingface/evaluate/blob/v0.4.5/setup.py#L54 does not check major version < 1.0.0 and pip uses latest available version. This affects previous stable versions. Could you enable stricter dependency checks?
- 主要言語
- Python
- スター
- 2.5k
- フォーク
- 366
- 平均マージ
- 48分
- マージ済み PR（30日）
- 1
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
huggingface/evaluate のほかの issue
-
exact_match: ignore_punctuation only removes ASCII punctuation対応中かも @reginaldalfret が 7 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
huggingface/evaluate#836 ·
メンテナーはふだん 1 日以内に返信
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargs対応中かも @ktz03 が 19 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
huggingface/evaluate#825 ·
メンテナーはふだん 1 日以内に返信
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residue対応中かも @MahendraMula が 36 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
huggingface/evaluate#822 ·
メンテナーはふだん 1 日以内に返信
-
Perplexity metric fails with GPT-2 tokenizer対応中かも @zanvari が 133 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
huggingface/evaluate#766 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
False/misleading instruction to use different checkpoints of BLEURT再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 62/100
huggingface/evaluate#679 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
huggingface/evaluate の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
Graphify-Labs/graphify#4860 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
:bug: Bug
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
scikit-image/scikit-image#8377 ·
メンテナーはふだん 1 日以内に返信
-
Ingredient import validation accepts negative nutrient values and NaN対応中かも @LukeSekai が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
wger-project/wger#2564 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
apache/ponymail-foal#351 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
メンテナーはふだん 4 日以内に返信